AIToday
大規模言語モデルHacker News掲載日時: 2026年7月15日 22:00

GPT-5.6-terra、エージェントタスクで Mimo-2.5-pro より 48.5% 多くトークン消費

LINEで送る

3つのポイント

  1. 何が起きたか

    開発者が GPT-5.6-terra と xiaomi/mimo-v2.5-pro を同じリポジトリで 80 以上のタスク各々に対して実行し、Dirac をテストハーネスとして使用して比較した。GPT-5.6-terra の平均最終トランスクリプトは 91,794 トークンで、Mimo の 61,831 トークンに対して 48.5% の差があった。

  2. なぜ重要か

    より大きなコンテキスト消費はタスクあたりのコスト増加に直結する。開発者は Terra が非効率なツール呼び出しを行ったことを発見した。数百行を一度に読み込み、ターゲット指定された行範囲ではなく、コマンドを巨大な出力で実行し(例:全テスト実行ではなく tail -20)、些細な編集でも変更を繰り返し確認する。これらのパターンはベンチマークでは高スコアを獲得するが、トークンを浪費し実際の作業を遅くする。

  3. 注目点

    開発者は Terra が「Git への執着」を示し、デバッグのためにコミットとディフを継続的に調査し、使用しないよう指示された後も実行し続けたと指摘した。現在の価格では、ボリュームコストとタスク時間により、Terra は正確性が高いにもかかわらず Mimo より魅力的な選択肢ではない。

わからないところ、AIに聞けます

質問と回答はこのページに公開されます。

こういう要約が、毎朝あなたのメールに届きます。

背景と解説

この比較は AI エージェントにおけるベンチマーク性能と実用的効率性の間の緊張関係を明らかにしている。GPT-5.6-terra の動作—最大限のコンテキスト探索、小規模な段階的編集確認ループ、広範なツール使用—は開発者が指摘するように高いベンチマークスコアと相関する特性である。しかし、これらの同じパターンは実世界のタスクにおいて非効率に転化し、コンテキストウィンドウサイズはコストと遅延に直結する。具体的な非効率性(ファイル全体ではなくターゲット指定スパンの読み込み、フィルター無しコマンド実行、強迫的な Git 検査)は Terra が実用的認識と引き換えに探索的徹底性をトレードしている可能性を示唆している。開発者が Git 使用を制限する指示を調整したが Terra がこれを無視した決定は、モデルが明確なガイダンスの下でも学習された動作から操舵困難であることを示唆している。48.5% のトークン増加は単なる奇趣性ではなく、多くのタスクを通じて複合し、経済的および時間的コストを個々のタスクにおける Terra の正確性を上回るほど十分にする。

よくある質問
この比較でテストされたタスク数は何か?
開発者は GPT-5.6-terra で 95 タスク、xiaomi/mimo-v2.5-pro で 81 タスクを実行した。同じリポジトリとタスク配分を使用した。
GPT-5.6-terra がより多くトークンを使用した主な理由は何か?
開発者は 3 つの主な非効率性を特定した:ファイルコール1回で数百行を読み込み、ターゲット指定範囲ではなく、大規模な出力を生成するコマンドを実行し(例:フィルター済み出力ではなく全テスト実行)、些細な変更を繰り返し編集・確認する代わりに編集をバッチ処理して検証前に修正しない。
GPT-5.6-terra は正しい結果を生成したか?
はい、開発者は「ほとんどの場合正しく処理される」と述べた。しかし、より大きなコンテキストウィンドウ使用とより遅いタスク完了時間は、正確性にもかかわらず実用的ではなくした。
LINEで送る

あなたの仕事に関係するAIニュースを、毎朝お届けします。

業界と使っているAIツールを選ぶと、仕事に関係するニュースが毎朝届きます。

登録無料・Googleアカウントなら30秒・いつでも解除できますAITodayについて →

AIに質問

この記事についてわからないことをAIに質問できます。AIはこの記事・AIToday の過去記事・Wikipedia を読み、出典を付けて答えます。Q&Aはこのページに公開され、他の読者も読めます。

質問と回答はこのページに公開されます。

関連記事

次の記事へEmergent、評価額15億ドル達成