Anthropic：エージェントはチャットの4倍トークン消費、削減5策

この記事は、APIの挙動からAIの実態を読み解くシリーズの第4回であり、過去の回を踏まえている。第3回ではエージェントがモデルとツールを繰り返し呼び出し、そのたびにシステムプロンプトと会話履歴を再読み込みする理由を説明し、第2回では監査を扱った。この仕組みが安いトークンを高額な請求に変える。1つのタスクで多数の呼び出しが発生し得るからだ。

5つの対策は優先順位付きのツールボックスとして提示され、記事はそれぞれの効果を慎重に見積もっている。最も明確な効果があるのはプロンプトキャッシュで、Anthropicはキャッシュ済みトークンの入力を通常の10分の1で課金し、OpenAIは自動的に半額にする。バッチ処理は多くのサービスの料金を半減させ、キャッシュとの相性も良い。ルーティング、圧縮、ツール絞り込みはより条件付きだ。RouteLLMの数字（リクエストの4分の1をフロンティアモデルに送り、その品質の約95%を維持、コストを最大85%削減）はベンチマーク条件下のもので、記事は期待される削減幅の3分の1を実運用での安全な想定として挙げている。ツール絞り込みはプロンプトのトークンを半減させ、選択精度を3倍にするとされるが、圧縮には情報が欠落するリスクがある。

記事自身の注意点は、これらの対策は積み重ねられる一方で品質を少しずつ損ない、特にルーティングの失敗はエラーを出さず弱い回答を生むだけに気付きにくいというものだ。だからこそ記事は測定の話で締めくくる。見えないものは削れないのであり、クラウド支出で一般的なFinOps型のコスト可視化をトークンに適用すべきだと指摘する。重要なのは個々の手法よりも、トークン消費を特定のチーム、エージェント、タスク、ツールに紐付けられるかどうかであり、本文は多くの職場でこれが未解決だと述べ、次回は実装と2026年7月28日に正式化されたMCP仕様を扱うとしている。