Googleがベンチマークを公開

このベンチマークは空白を埋めるために作られた。既存のエージェントテストはテキスト偏重すぎる。Googleのブログ執筆者Rohan Doshi氏とBen Caine氏が述べるように、ほとんどの知識労働ベンチマークは画像やページレイアウトを見ることなくテキストだけで解けてしまうが、日常の専門業務は大きく異なる。MKAは10分野・83職種にわたる200タスクを収録し、各タスクは熟練専門家が完了に3〜8時間かかる多段階プロジェクトを反映している。

全モデルは同一のオープンソースエージェントハーネスStirrup内で、共通のツールセットとターン予算の下で実行される。それでも被験モデルの効率差は極端で、各タスク完了に平均30〜130ターンを使用した。自動評価器とドメイン専門家の96%一致は採点への一定の信頼を与えるが、非公開のタスクセットとGoogleの共同作成という立場は、Crypto Briefingが指摘した独立性への疑問を残す。

この結果はGoogleを異例の立場に置く。Gemini 4 Carbonは自ら設計に加わったベンチマークでClaude Fable 5.2に次ぐ2位となった。投稿はGemini 4 Carbonを品質で上回ったモデル名を明示しておらず、本日トラッカー上のGoogle関連通知としては3件目で、Gemini 4 Carbon APIの広範な展開に続くものとなる。