何が起きたか
OpenAIは9月3日のブログ公開後、GPT-6 Astraの評価指標を複数変更。更新版ではAstraのスコアが向上し、Anthropicのスコアは低下した。
なぜ重要か
ベンチマークの信頼性や操作の可能性への懸念が浮上。AI各社はこれらのスコアで顧客や投資家を獲得しており、OpenAIは修正によりモデル性能の最良の推定値を反映させたと説明している。国内のAI活用企業は、モデル性能の評価指標が事後変更されるリスクを踏まえた選定判断を迫られる可能性がある。
注目点
Astraの幻覚率は2%に半減後、4.2%に戻された。SolのExploitBenchスコアは11.5%に上昇し、今後戻される可能性も。OpenAIは2027年のIPOを見据え、評価手法への scrutiny（厳しい視線）に直面している。
こういう要約が、毎朝あなたのメールに届きます。
ベンチマーク修正は、評価スコアが公的な成績表となるAI競争の中で発生。Astraの幻覚率を2%に半減させ、SolのExploitBenchスコアを引き上げるなどの変更は、OpenAIにマーケティング上の優位性をもたらす可能性がある。だが、スタンフォードの研究者らは、再評価は既知の慣行であり、システムカードは詳細をほとんど明らかにしていないと指摘。これらの数字への信頼度に疑問が生じる。この混乱は、顧客のモデル選択を複雑化させ、特に2027年の潜在的IPOに向けて、OpenAIの「最善のモデル」という物語を曖昧にする恐れがある。
業界と使っているAIツールを選ぶと、仕事に関係するニュースが毎朝届きます。
登録無料・Googleアカウントなら30秒・いつでも解除できますAITodayについて →
この記事についてわからないことをAIに質問できます。AIはこの記事・AIToday の過去記事・Wikipedia を読み、出典を付けて答えます。Q&Aはこのページに公開され、他の読者も読めます。
Cerence AIはGeelyとの協業をインテリジェントコックピットから具現化ロボティクスへ広げると発表
Morgan StanleyはすでにAIエージェントを全面遮断しており、JPMorgan、Bank of America、Citiも同様だ
OpenAIのGPT-5.6 Solを含むAIモデルを使った研究者らが、php2shellと総称される2つのPHP脆弱性を発見した
ゴールドマンのエコノミスト、ジョセフ・ブリッグス氏は、AIが生産性を15%押し上げるとの予測の下で、最大9%の労働者——およそ11人に1人——が職を失う可能性があると記した
ザッカーバーグ氏は、先月一般公開されたMuseが米国とカナダで1000万人超にダウンロード・設定され、初期ダウンロード者の4分の1が毎日利用していると述べた
Nvidiaが220万ドル、Anthropicが210万ドル、OpenAIが150万ドルを7月から9月のロビー活動に費やした——連邦開示文書によると、いずれも記録的な四半期となった
