
何が起きたか
OpenAIは2月、AIモデルが解けなかった138問を精査した結果、59.4%に採点テストや問題文の重大な欠陥があったとして、SWE-bench Verifiedのスコア報告をやめた。
なぜ重要か
プログラミング能力の比較に長く使われてきたベンチマークは、高スコアが実力を示すか信頼できなくなった。正しい修正でも不合格になり得て、上位モデルが学習中に問題を見ていた可能性もある。
こういう要約が、毎朝あなたのメールに届きます。
ベンチマークは共通の物差しであるべきだが、その物差しは2つの形で劣化する。1つは飽和だ。57科目の多肢選択式テストであるMMLUはGPT-3の43.9%から2023年にGPT-4で86.4%へ上がり、その後90%を超えたモデルもある。別の研究ではMMLUの問題自体の約6.5%に欠陥があったことも分かった。対策として、MMLU-ProやGPQA、約2500問のHumanity's Last Examなど、より難しいテストが作られてきた。
2つ目の問題はデータ汚染だ。公開されたテストの問題と解答がモデルの学習データに入ると、スコアは未見の問題を解く能力を測らなくなる。専門家が選んだ500問のSWE-bench Verifiedはコーディング能力の標準的な比較対象になった——だからこそOpenAIのスコア報告停止の決定は重みを持つ。OpenAIはAIが解けなかった138問を精査し、59.4%に採点テストや問題文の重大な欠陥があり、正しい修正でも誤りと判定され得ると分かった。また、一部の問題では最先端モデルが人間の書いた修正を再現し、学習中に見ていた可能性も示唆された。
ベンチマークは車のカタログ燃費のようなものだ。同じ条件での比較には役立つが、実世界の結果は路面や運転の仕方で変わる。AIでは、プロンプトの書き方や推論モデルに許す計算量、使う外部ツールやハーネスによってスコアは変わる。問題数が少なければ、数ポイントの差はモデルの順位付けの根拠として脆い——ベンチマーク首位が必ずしも特定の業務に最適とは限らない。
業界と使っているAIツールを選ぶと、仕事に関係するニュースが毎朝届きます。
登録無料・Googleアカウントなら30秒・いつでも解除できますAITodayについて →
この記事についてわからないことをAIに質問できます。AIはこの記事・AIToday の過去記事・Wikipedia を読み、出典を付けて答えます。Q&Aはこのページに公開され、他の読者も読めます。
このようなAIの動きを、御社の業界・競合に合わせて毎日届ける法人プランもあります → 詳しく見る
株式会社粋農は、農業向け人事評価・業務管理アプリ「suino」にMCP(AIアプリを外部データや機能につなぐ共通規格)を実装し、ClaudeなどMCP対応AIサービスと接続できるようにした

AnthropicがOnePWR Solutionsから1.7GWのガス火力発電設備の注文を引き継ぐため34億ドルを拠出したと報じられた

オートバックスセブンはグループ全体にGoogle WorkspaceとGeminiを導入し、マクロ依存の表計算からGoogle Sheetsへ移行

Adobe MAX 2026でAdobeは、主要ツールでMCPをサポートし、来春から独自のAdobe Creative Agentを提供すると発表

10月のプレプリントで研究者が、GPT‑6 Astraと構築した標準模型の非摂動的格子定義の候補を記述

OpenAIは科学者や学術研究者がAIで得た発見を共有する場として「OpenAI science」ブログを開始した
