LLMルーター、キャッシュ無効化で隠れた費用 本番環境での正しい実装法

エージェント型AIシステムでLLMの利用コストを削減する場合、単純にタスク難易度に応じて安価なモデルに振り分けるだけでは不十分であることが明らかにされました。その理由は、現代のLLMが提供する「プロンプトキャッシング」という最適化機能にあります。この機能により、すでに処理した文脈は約90%割安で再利用できるものの、キャッシュはモデル固有であり、モデルの切り替えがあるたびにそれまでの最適化が失われるため、費用削減の効果が帳消しになってしまうのです。

本番環境での実装は、この問題を回避するために「モデルアフィニティ」という層を導入しています。これは、タスクの開始時にどのモデルを使用するかを決定し、その後のタスク内部のすべての処理呼び出しについては同じモデルに固定する方式です。この仕組みにより、キャッシュが温かい状態（「ウォーム」）を保ったまま処理が進み、かつ新しいタスクが始まると再び自由にルーティング判定が行われるため、全体として安価なモデルへの振り分けメリットとキャッシュ効率化のメリットの両立が実現します。Planoなどのオープンソースツールでこのパイプラインが提供されており、実装例では使用量が2倍削減される効果が報告されているため、実務レベルでも検証可能な知見となっています。