OpenAI、SWE-Bench Pro不備発見

OpenAIによるSWE-Bench Proの監査は、同社が別の人気コーディングベンチマークであるSWE-bench Verifiedを以前批判したことを受けて行われた。同社は以前、コミュニティにSWE-Bench Proへの移行を奨励していたが、今回の新たな分析により、同様の根本的な問題が明らかになった。これらの問題は、ベンチマークのタスクが実際のソフトウェア変更から抽出されており、テストがAIモデルを単独で評価するためではなく、人間の協働のために書かれていることに起因する。

今回の調査結果は、挑戦的でありながら公正なベンチマークを作成することの難しさを浮き彫りにしている。OpenAIがデータ監査にAIエージェントを活用したことは、品質管理への新しいアプローチを示しているが、人間のレビュアーは自動パイプラインよりも多くの問題タスクを発見した。このことは、高度なツールであっても問題を過小評価する可能性があり、厳格で多層的な評価の必要性を強調している。

OpenAIにとって、これらのベンチマークは導入や安全性の判断に利用されるため、その重要性は高い。評価に欠陥があれば、モデルの能力を誤って示し、研究の優先順位に影響を与える可能性がある。同社が以前の推奨を撤回したことは、より広いAIコミュニティが、人間が直接関与してモデルの能力を真に反映する、より信頼性の高い評価手法に投資する必要性を示唆している。