ベンチマークでタスクが「カバーされている」とはどういう状態か？

Mercorは、ベンチマークのテスト項目が5問以上そのタスクに関連づけられている場合に、十分にカバーされているとみなした。

どの職種がよくカバーされ、どの職種がほとんどカバーされていなかったか？

ソフトウェアエンジニアリング、法律、会計は比較的よくカバーされていた一方、トラック運転やガスプラント運転はほとんどカバーされていなかった。

Mercorは、現在のAIにとって対応が難しい職種や、研究者がテストを作りにくい職種が除外された可能性を指摘している。

何が起きたか
Mercorは29の主要AIベンチマークをO*NETの923職種に照合し、5問以上のテスト項目でタスクの少なくとも一部がカバーされていたのは208職種のみと判明した。
なぜ重要か
ベンチマーク結果はAIが担いうる仕事のごく一部しか示しておらず、AIによる労働代替の主張は根拠が薄い可能性がある。

誰に効くかAIのベンチマークスコアを根拠に自動化や人員計画を正当化する政策担当者や企業幹部は、そうしたスコアを部分的なものとして扱うべきだ。大多数の職種や物理世界のタスクは反映されていないからである。

質問と回答はこのページに公開されます。

こういう要約が、毎朝あなたのメールに届きます。

よくある質問

ベンチマークでタスクが「カバーされている」とはどういう状態か？: Mercorは、ベンチマークのテスト項目が5問以上そのタスクに関連づけられている場合に、十分にカバーされているとみなした。
どの職種がよくカバーされ、どの職種がほとんどカバーされていなかったか？: ソフトウェアエンジニアリング、法律、会計は比較的よくカバーされていた一方、トラック運転やガスプラント運転はほとんどカバーされていなかった。
なぜ一部の職種がベンチマークから除外された可能性があるのか？: Mercorは、現在のAIにとって対応が難しい職種や、研究者がテストを作りにくい職種が除外された可能性を指摘している。