Gemini 4 Argonが空の回答を返したのはなぜか？

Googleのドキュメントによると、非ストリーミングRESTリクエストは最大32,768トークンを返し、これはGemini 3.xの65,536から減っており、その上限には推論トークンも含まれる。難しい問題ではモデルが推論で予算を使い切り、回答テキストを生成しなかった。

白紙回答の問題はどう解決されたか？

著者はstreamGenerateContentによるストリーミングに切り替えた。そこでは上限が65,536に上がり、その後6回中5回で満点となり、推論は39,000から54,000トークンの間だった。

きれいにはできない。結果はほぼ横並びで、12問中10問は4モデルすべてが完全に解き、GPT-6 Astraは利用制限のため各問題1回しか実行できなかった。そのため著者は、現状の数値は比較できないと述べている。

何が起きたか
12問のプログラミング問題を120回実行し、Claude Opus 5.5が36問中36問、Gemini 4 Argonが36問中35問、GPT-5.6 Solが36問中33問、GPT-6 Astraが12問中11問を正答。
なぜ重要か
Gemini 4 Argonが難しい問題で白紙回答を返したのは、非ストリーミングRESTの上限が32,768トークンで、推論分も含まれ、Gemini 3.xの65,536から減っているため。

質問と回答はこのページに公開されます。

こういう要約が、毎朝あなたのメールに届きます。

よくある質問

Gemini 4 Argonが空の回答を返したのはなぜか？: Googleのドキュメントによると、非ストリーミングRESTリクエストは最大32,768トークンを返し、これはGemini 3.xの65,536から減っており、その上限には推論トークンも含まれる。難しい問題ではモデルが推論で予算を使い切り、回答テキストを生成しなかった。
白紙回答の問題はどう解決されたか？: 著者はstreamGenerateContentによるストリーミングに切り替えた。そこでは上限が65,536に上がり、その後6回中5回で満点となり、推論は39,000から54,000トークンの間だった。
このテストでAIモデルを実際にランク付けできるか？: きれいにはできない。結果はほぼ横並びで、12問中10問は4モデルすべてが完全に解き、GPT-6 Astraは利用制限のため各問題1回しか実行できなかった。そのため著者は、現状の数値は比較できないと述べている。