OpenAIが広く使われるAIコーディング試験「SWE-Bench Pro」を検証し、およそ30%のタスクが不正確だと発表しました。テストの誤りはAIの実際の能力を見誤らせるため、モデルの安全性評価に影響する可能性があります。同社はこの試験への支持を取り下げ、業界に対しより信頼性の高いベンチマークの開発を呼びかけています。
こういう要約が、毎朝あなたのメールに届きます。
無料で登録 →何が起きたか
OpenAIがプログラミングスキルを測るテスト「SWE-Bench Pro」を検証し、およそ30%のタスクが不正確だと判明しました。OpenAIの自動スクリーニングツールが286の疑わしいタスクを指摘し、その後AIエージェントと人間の研究者が検証した結果、200タスク（27.4%）が欠陥と判定されました。一方、経験を積んだソフトウェア開発者5人の検証では249タスク（34.1%）が問題ありと評価され、人間の方がより厳しい判定を下しています。
なぜ重要か
こうしたテストの結果は、モデルの安全性評価を含めOpenAIがモデルをリリースするかどうかの判断に影響します。テストに誤りが含まれていると、AIの実際の能力を誤った形で見せてしまう可能性があります。たとえば、あるテストはスペース1つの要件を指定していながら、隠れたテストケースでは2つのスペースを期待していて、正しく指示に従ったAIが失敗するという問題も発見されました。
注目点
公開版のテスト（731タスク）ではトップモデルの正答率が8ヶ月間で23.3%から80.3%に急上昇していましたが、OpenAIはこの上昇の信頼性に疑問を呈しています。同社は今回、具体的な後継テストは推奨せず、業界に対して経験を積んだ開発者を使い、操作しづらく信頼でき、実際に意味あるベンチマークの開発を呼びかけています。
SWE-Bench ProはSWE-bench Verifiedの後継として設計されましたが、OpenAIはSWE-bench Verifiedについても同様の理由で評価を取り下げていました。今回の検証では、OpenAIの自動ツールが286のタスクを疑わしいと指摘し、AI検証と人間検証の一致率は74%でしたが、人間の方がより厳しい基準を適用していることが明らかになりました。テストの不正確さが特に影響するのは、OpenAIがこうしたベンチマーク結果をモデルのリリース判断や安全性評価に組み込んでいるという点です。不正確なテストに基づいて評価判定が行われれば、実際の能力と異なるモデルがリリースされるリスクが生じます。並行して、中立的な分析企業も同じテストの問題を指摘し、代替ベンチマークへの乗り換えを進めており、業界全体でAIコーディング能力の評価基準の再構築が急務となっています。
まだコメントがありません。最初のコメントを投稿しましょう！
ログインして議論に参加200以上のソースから厳選したAIニュースを毎日無料でお届けします。
無料で始める登録無料・30秒で完了・いつでも解除できます
毎朝1分、AIの要点だけ。
200媒体以上・Email/LINE/Slack 対応
