トライアル間のキャッシュ共有でコスト計測が歪む

Induction AIはAIエージェント向けのコンテキスト最適化を手がけており、新しい最適化手法の検証と、精度を損なわずにコスト削減を確認するためにベンチマークを実施している。初期の実験でベンチマークのトライアル間がプロンプトキャッシュを共有し、後のトライアルが安くなってコスト計測が歪んだ。同社は通常、同じタスクを複数回試行してコストと精度の分布の統計を取るが、プロンプトキャッシュはリクエストがどの会話に属するかを区別しない。冒頭トークンが最近処理されたプレフィックスと一致すれば、そのプレフィックスを割引価格で読む。

同じタスクや関連タスクのトライアルは同じツール、システムプロンプト、タスクメッセージ、そして多くの場合同じ最初の数回のツール呼び出しで始まるため、トライアル2がトライアル1の冒頭のやり取りをキャッシュから読む可能性があった。最初のリクエストが処理された時点でキャッシュエントリが存在するため、並行して起動したトライアルも同様だ。Induction AIのキャッシュ無効化シミュレーターは、ツールがプレフィックスの最上位にあり、ツールを追加するとキャッシュが残らないことを示した。そこから導かれた修正策は、各トライアルにトライアルIDを名前に持つツールを与えることだった。トライアル間で異なるため最初のトークンから他のプレフィックスに一致せず、トライアル全体では同じなので自身のやり取り同士はキャッシュできる。

チームはtau3やToolathlonなどのベンチマークを使い、タスク成功率を維持しながらコンテキスト最適化が推論コストをどれだけ削減するかを測っている。固有のダミーツールを注入するのはシンプルな解決策だったとし、LLMを取り巻くインフラがモデル自体と同じくらいベンチマーク結果に影響し得るという戒めでもあると指摘している。