エージェントシステムで安価なLLMへのルーティングを導入しても、モデル切り替え時にプロンプトキャッシュが失われるため費用削減が実現しないという問題が指摘されました。
本番環境では、タスク内で同じモデルに固定する「モデルアフィニティ」を含む4段階のルーティングパイプラインを実装することで、コスト削減が可能になるとされています。
実装例では使用量が2倍削減されたと報告されています。
何が起きたか
エージェント（自分で判断して作業するAI）で安価なLLM（文章を理解・生成するAI）へのルーティングを導入しても、コスト削減が実現しないケースが起きていることが明かされました。原因は、LLMが前回の処理結果をキャッシュして再利用する仕組み（プロンプトキャッシング）で、モデルを切り替える度にこのキャッシュが失われ、文脈全体を高額な新規入力として請求されるためです。
なぜ重要か
本番環境のルーティングシステムでは単なるタスク難易度による振り分けでは不十分で、タスク内で同じモデルに固定する「モデルアフィニティ」を実装する必要があることが示されました。この4段階のルーティングパイプライン（安全フィルタ・ルーティングモデル・選択ポリシー・モデルアフィニティ）を組むことで、初めてコスト削減が実現する可能性があり、実装例では使用量が2倍削減されたと報告されています。
注目点
Planoというオープンソースプロキシがこのパイプラインを実装しており、GitHub上で入手できます。ルーティングモデルにはArch-Router（1.5Bモデル）が使用され、設定はYAML形式で管理されるため、エージェントコード自体に変更を加えることなく柔軟に調整が可能です。
エージェント型AIシステムでLLMの利用コストを削減する場合、単純にタスク難易度に応じて安価なモデルに振り分けるだけでは不十分であることが明らかにされました。その理由は、現代のLLMが提供する「プロンプトキャッシング」という最適化機能にあります。この機能により、すでに処理した文脈は約90%割安で再利用できるものの、キャッシュはモデル固有であり、モデルの切り替えがあるたびにそれまでの最適化が失われるため、費用削減の効果が帳消しになってしまうのです。
本番環境での実装は、この問題を回避するために「モデルアフィニティ」という層を導入しています。これは、タスクの開始時にどのモデルを使用するかを決定し、その後のタスク内部のすべての処理呼び出しについては同じモデルに固定する方式です。この仕組みにより、キャッシュが温かい状態（「ウォーム」）を保ったまま処理が進み、かつ新しいタスクが始まると再び自由にルーティング判定が行われるため、全体として安価なモデルへの振り分けメリットとキャッシュ効率化のメリットの両立が実現します。Planoなどのオープンソースツールでこのパイプラインが提供されており、実装例では使用量が2倍削減される効果が報告されているため、実務レベルでも検証可能な知見となっています。
たとえば、いま届くならこの3本です
AIが要約して、あなたの選んだトピックだけを1日1通。LINE・Email・Slackで届きます。
登録無料・30秒で完了・いつでも解除できますAITodayについて →
この記事についてわからないことをAIに質問できます。Q&Aはこのページに公開され、他の読者も読めます。
イスラエルの新興企業DataAgent Ltd.は、顧客のKubernetesクラスター内の本番障害を修復するプラットフォームを発表し、1000万ドルのプレシード資金を調達した
SK海力士はSEMICON Taiwan 2026で、ベースダイに演算機能を組み込んだカスタムHBMの構想を発表
エヌビディアの決算は注目に値する一方で退屈な内容となり、統合された世界を避ける姿勢が反映された
AnthropicがNvidia支援のクラウド事業者Lambdaと、$35bnのクラウドコンピューティング契約を結んだ
最高裁判所は2027年度予算案にAI関連費用として約6000万円を計上
消費者庁は24日、全国の消費生活センターに寄せられる年間約90万件の相談を生成AIで分析し、詐欺の手口や事業者の経営破綻の早期サインを検出すると発表した
