何が起きたか
Artificial Analysisは、そのベンチマークがGPT-6 Astraの実際の進歩を捉え切れていないとの批判を受け、Intelligence Indexのバージョン4.2を公開した。今回の更新で、GPT-6 Astraは前モデルSolに対し4ポイントの差をつけた。
なぜ重要か
改訂後の指数では、Claude Fable 5.1が首位、GPT-6 Astraが2位、Metaが3位となった。さらに、実務的なナレッジワーク向けのAA-BriefcaseとPDF解析向けのGDP.pdfという2つの新ベンチマークが追加され、非公開テストデータの重み付けが全体の40％に引き上げられ、不正対策が強化された。国内企業がAIモデル選定の際に参照する評価指標の信頼性が揺らぎ、選定プロセスに影響が出る可能性がある。
注目点
改訂版指数の信頼性は、追加された非公開テストデータの重み付け40%が機能するかどうかにかかっており、主要モデルの発表時におけるスコア安定性の維持が今後の焦点となる。暫定的な更新が続く限り、リーダーボード上位の変動は収束しないとみられる。
こういう要約が、毎朝あなたのメールに届きます。
今回の改訂は、OpenAI自身を含む初期評価でAstraが他モデルを大きく引き離していると示された一方、Artificial Analysisの当初のスコアは前モデルと同等にとどまっていたことを受けて行われた。この乖離が疑念を招き、指数の見直しにつながった。新版では、実務向けナレッジワークを想定したAA-BriefcaseやPDF文書解析のGDP.pdfなどのベンチマークが追加され、モデルが解けてしまったGPQA-Diamondは除外された。非公開テストデータの重みを全体の40％にすることで、不正なスコア操作への耐性を高めた格好だ。
ビジネス層にとって、この更新はフロンティアモデルの実際の能力をより正確に示すものであり、調達や戦略判断に有用だ。Astraが4ポイントの差をつけ、タスクあたりのトークン消費も少ないという事実は、コストや効率面での優位性を示し、ベンダー選定にも影響を与えうる。ただし、指数は進化の途上にあり、バージョン5も段階的に導入されるため、ランキングは今後も変動する可能性がある。リーダーボード上位の動きは速く、今回の更新はそれに対応するための中間調整だったという位置づけだ。
業界と使っているAIツールを選ぶと、仕事に関係するニュースが毎朝届きます。
登録無料・Googleアカウントなら30秒・いつでも解除できますAITodayについて →
この記事についてわからないことをAIに質問できます。AIはこの記事・AIToday の過去記事・Wikipedia を読み、出典を付けて答えます。Q&Aはこのページに公開され、他の読者も読めます。
