AIToday
大規模言語モデルAIコーディングAI Watch (Impress)掲載日時: 2026年11月16日 13:00

OpenAI、SWE-bench Verifiedのスコア報告を中止

LINEで送る
OpenAI、SWE-bench Verifiedのスコア報告を中止

3つのポイント

  1. 何が起きたか

    OpenAIは2月、AIモデルが解けなかった138問を精査した結果、59.4%に採点テストや問題文の重大な欠陥があったとして、SWE-bench Verifiedのスコア報告をやめた。

  2. なぜ重要か

    プログラミング能力の比較に長く使われてきたベンチマークは、高スコアが実力を示すか信頼できなくなった。正しい修正でも不合格になり得て、上位モデルが学習中に問題を見ていた可能性もある。

わからないところ、AIに聞けます

質問と回答はこのページに公開されます。

こういう要約が、毎朝あなたのメールに届きます。

背景と解説

ベンチマークは共通の物差しであるべきだが、その物差しは2つの形で劣化する。1つは飽和だ。57科目の多肢選択式テストであるMMLUはGPT-3の43.9%から2023年にGPT-4で86.4%へ上がり、その後90%を超えたモデルもある。別の研究ではMMLUの問題自体の約6.5%に欠陥があったことも分かった。対策として、MMLU-ProやGPQA、約2500問のHumanity's Last Examなど、より難しいテストが作られてきた。

2つ目の問題はデータ汚染だ。公開されたテストの問題と解答がモデルの学習データに入ると、スコアは未見の問題を解く能力を測らなくなる。専門家が選んだ500問のSWE-bench Verifiedはコーディング能力の標準的な比較対象になった——だからこそOpenAIのスコア報告停止の決定は重みを持つ。OpenAIはAIが解けなかった138問を精査し、59.4%に採点テストや問題文の重大な欠陥があり、正しい修正でも誤りと判定され得ると分かった。また、一部の問題では最先端モデルが人間の書いた修正を再現し、学習中に見ていた可能性も示唆された。

ベンチマークは車のカタログ燃費のようなものだ。同じ条件での比較には役立つが、実世界の結果は路面や運転の仕方で変わる。AIでは、プロンプトの書き方や推論モデルに許す計算量、使う外部ツールやハーネスによってスコアは変わる。問題数が少なければ、数ポイントの差はモデルの順位付けの根拠として脆い——ベンチマーク首位が必ずしも特定の業務に最適とは限らない。

よくある質問
OpenAIがSWE-bench Verifiedのスコア報告をやめたのはなぜですか?
OpenAIはSWE-bench VerifiedでAIが解けなかった138問を精査した。59.4%に採点テストや問題文の重大な欠陥があり、最先端モデルが学習中に一部の問題を見ていた可能性があることが分かった。
SWE-bench Verifiedとは何ですか?
人間の専門家が選んだ500問で構成されるベンチマークで、AIモデルが実際のソフトウェアのバグをどれだけ修正できるかの標準的な指標として長く使われてきた。
AIベンチマークが時間とともに有用性を失うのはなぜですか?
かつて難しかった問題もモデルの進歩で簡単になり、スコアがモデル間の差を示さなくなる——飽和効果だ。例えばMMLUはGPT-3の43.9%から2023年にはGPT-4で86.4%になった。
AI Watch (Impress)元記事を読む
LINEで送る

あなたの仕事に関係するAIニュースを、毎朝お届けします。

業界と使っているAIツールを選ぶと、仕事に関係するニュースが毎朝届きます。

登録無料・Googleアカウントなら30秒・いつでも解除できますAITodayについて →

AIに質問

この記事についてわからないことをAIに質問できます。AIはこの記事・AIToday の過去記事・Wikipedia を読み、出典を付けて答えます。Q&Aはこのページに公開され、他の読者も読めます。

質問と回答はこのページに公開されます。

このようなAIの動きを、御社の業界・競合に合わせて毎日届ける法人プランもあります → 詳しく見る

関連記事

次の記事へアンソロピック19日IPO、PKSHAが協業パートナーに