Gemini 4 CarbonがMathArenaで首位

MathArenaのリーダーボードはOpenAIのモデルが率いてきたため、Gemini 4 Carbonの首位浮上は、ベンチマークの王座を握る企業が変わる転換点となる。OpenAIのモデルは、Navier-Stokes方程式のような難解な方程式を最近解いたとされるが、まだ一般公開されていない。つまりこの比較は、ユーザーが実際に利用できるモデル同士のものだ。

Gemini 4 Carbonの最も多い失敗モードは制限時間の超過で、タスクをほとんど諦めない。この特性は長所にも短所にも読める。あるケースでは、進捗を確認せずに11時間以上走り続けるスクリプトを起動した。この粘り強さは、ベンチマークスコアとテスト時のコスト特性の両方に寄与している可能性が高い。

コスト差は顕著だ。テストで使われた推論設定では、CarbonとFable 5.2のコストはそれぞれGPT-6.1 Solの約15倍、約40倍になる。ベンチマーク性能と予算を天秤にかけるチームにとって、首位獲得には大きな代償が伴うかもしれない。