何が起きたか
OpenAIがプログラミングスキルを測るテスト「SWE-Bench Pro」を検証し、およそ30%のタスクが不正確だと判明しました。OpenAIの自動スクリーニングツールが286の疑わしいタスクを指摘し、その後AIエージェントと人間の研究者が検証した結果、200タスク（27.4%）が欠陥と判定されました。一方、経験を積んだソフトウェア開発者5人の検証では249タスク（34.1%）が問題ありと評価され、人間の方がより厳しい判定を下しています。
なぜ重要か
こうしたテストの結果は、モデルの安全性評価を含めOpenAIがモデルをリリースするかどうかの判断に影響します。テストに誤りが含まれていると、AIの実際の能力を誤った形で見せてしまう可能性があります。たとえば、あるテストはスペース1つの要件を指定していながら、隠れたテストケースでは2つのスペースを期待していて、正しく指示に従ったAIが失敗するという問題も発見されました。
注目点
公開版のテスト（731タスク）ではトップモデルの正答率が8ヶ月間で23.3%から80.3%に急上昇していましたが、OpenAIはこの上昇の信頼性に疑問を呈しています。同社は今回、具体的な後継テストは推奨せず、業界に対して経験を積んだ開発者を使い、操作しづらく信頼でき、実際に意味あるベンチマークの開発を呼びかけています。
こういう要約が、毎朝あなたのメールに届きます。
SWE-Bench ProはSWE-bench Verifiedの後継として設計されましたが、OpenAIはSWE-bench Verifiedについても同様の理由で評価を取り下げていました。今回の検証では、OpenAIの自動ツールが286のタスクを疑わしいと指摘し、AI検証と人間検証の一致率は74%でしたが、人間の方がより厳しい基準を適用していることが明らかになりました。テストの不正確さが特に影響するのは、OpenAIがこうしたベンチマーク結果をモデルのリリース判断や安全性評価に組み込んでいるという点です。不正確なテストに基づいて評価判定が行われれば、実際の能力と異なるモデルがリリースされるリスクが生じます。並行して、中立的な分析企業も同じテストの問題を指摘し、代替ベンチマークへの乗り換えを進めており、業界全体でAIコーディング能力の評価基準の再構築が急務となっています。
業界と使っているAIツールを選ぶと、仕事に関係するニュースが毎朝届きます。
登録無料・Googleアカウントなら30秒・いつでも解除できますAITodayについて →
この記事についてわからないことをAIに質問できます。AIはこの記事・AIToday の過去記事・Wikipedia を読み、出典を付けて答えます。Q&Aはこのページに公開され、他の読者も読めます。
Chunghwa Telecom社長のRong-shy Lin氏は、会話型AIから自律型AIエージェントへの移行が企業導入を変え、大規模導入にはデータガバナンス、アクセス制御、説明責任が不可欠だと述べた
CoreWeaveは金曜の時間外取引で5%下落し、週間で15%安となる見通し
AppleとMetaは、ハイエンドMacでの動作を想定した新しいオープンウェイトAIモデルを共同で公開すると発表した
Crunchbaseデータで、投資家はQ3にアジア新興企業へ385億ドルを投じた
Anthropicの長期投資家がFortuneに、株式は約1兆8000億ドルで価格設定され、IPO後2兆3000億ドルから2兆4000億ドルと予想
CLIをANTHROPIC_BASE_URL環境変数でローカルのモックに向ける手順を解説
