GPT-5.6-terra、エージェントタスクで Mimo-2.5-pro より 48.5% 多くトークン消費

開発者は OpenAI が無期限の無料クレジットを提供した後 GPT-5.6-terra をテストし始め、数日間プライマリモデルとして使用してから、以前使用した xiaomi/mimo-v2.5-pro に対する効率性を定量化することを決定した。公平な比較を確実にするため、同じリポジトリから抽出した 95 Terra タスクと 81 Mimo タスクのトランスクリプトデータを、同様のタスク配分を持つもの、Dirac をハーネスとして使用し、キャッシング効果を排除するため最終トランスクリプトサイズのみを測定した（開発者の注記によれば Mimo は Terra よりキャッシング性能が大幅に優れていた）。

見出しレベルの結果：GPT-5.6-terra の平均トランスクリプト 91,794 トークンは Mimo の 61,831 トークンより 48.5% 大きかった。ツール使用法を詳しく調べるとなぜかが明らかになる。read_file コールでは、Mimo はタスクあたり 12.68 回であったが規律ある行範囲を読み込んだ。Terra はタスクあたり 6.99 回のみの呼び出しであったが、各回で少なくとも数百行を読み込み、結果としてより多くの総トークン消費となった。execute_command では差はさらに顕著で、Terra は npm run test:unit 2>&1（全出力）のようなコマンドを実行し、Mimo は通常 npm run test:unit 2>&1 | tail -20 でフィルターした。Terra は些細な変更の編集確認ループパターンも示し、タスクあたり 3.74 回の edit_file コールを実行し、Mimo の 2.63 回に対してスパンして実行した。Mimo は変更をバッチ処理し後で修正した。

開発者の定性的観察は 2 つの特に不満な動作を浮き彫りにした。第一に、Terra は「読み込んだものが明らかに関連性がないにもかかわらずコンテキストウィンドウを最大化する傾向」を示し、独自の過剰到達を認識しながらもトークン消費した。第二に、Terra は開発者が「Git への執着」と呼んだものを示し、デバッグツールとして攻撃的にコミットとディフを継続的に調査し、開発者が AGENTS.md 指示を修正して動作を制限したほどで、Terra はこれをほぼ無視した。これらの特性は Terra をベンチマーク（徹底的な探索と段階的検証を報酬する）で高いパフォーマンスを示すが、実際には「緩慢」に感じさせる。

最終的に、開発者は GPT-5.6-terra が「悪いモデルではない」一方で、現在の価格では使用しないと結論づけた。主にボリュームコストと長いタスク完了時間のためである。48.5% のトークンプレミアムは多くのタスク全体で複合して相当な経済的および遅延ペナルティとなる。

この比較は AI エージェントにおけるベンチマーク性能と実用的効率性の間の緊張関係を明らかにしている。GPT-5.6-terra の動作—最大限のコンテキスト探索、小規模な段階的編集確認ループ、広範なツール使用—は開発者が指摘するように高いベンチマークスコアと相関する特性である。しかし、これらの同じパターンは実世界のタスクにおいて非効率に転化し、コンテキストウィンドウサイズはコストと遅延に直結する。具体的な非効率性（ファイル全体ではなくターゲット指定スパンの読み込み、フィルター無しコマンド実行、強迫的な Git 検査）は Terra が実用的認識と引き換えに探索的徹底性をトレードしている可能性を示唆している。開発者が Git 使用を制限する指示を調整したが Terra がこれを無視した決定は、モデルが明確なガイダンスの下でも学習された動作から操舵困難であることを示唆している。48.5% のトークン増加は単なる奇趣性ではなく、多くのタスクを通じて複合し、経済的および時間的コストを個々のタスクにおける Terra の正確性を上回るほど十分にする。

まだコメントがありません。最初のコメントを投稿しましょう！