キャッシュツリーとテールプロンプト、LLMのコスト削減に活躍

キャッシュツリーとテールプロンプト最適化は、言語モデルがコンテキストトークンの数値表現を保存するデータ構造であるKVキャッシュを再利用して冗長な計算を回避する、2つの相互補完的なLLM技術である。

キャッシュツリーは共有プレフィックスアーキテクチャを作成する。共通幹（システムプロンプトと会話履歴）がキャッシュされ、複数の枝によって共有される。各枝は、幹のキャッシュされたコンテキストを継承し、独自の新しいトークンのみを計算する、並列の会話スレッドまたはタスクを表す。例えば、コーディングアシスタントのシナリオでは、メインスレッドが幹としてプロジェクトコードとドキュメントをキャッシュにロードする。3つの枝、バグ修正用、機能追加用、テスト作成用が各々、キャッシュされたプロジェクトコンテキストを継承する。ユーザーがスレッド間を切り替える際、共有幹キャッシュはタイムツーリブウィンドウ内で利用可能なため、各スレッドはプロジェクトコンテキストの再計算を回避する。各スレッドのコストは約その独自のタスク説明トークンのサイズに相当する。プロジェクトコンテキストはキャッシュされたデータを使用するためである。ユーザーはどの枝をたどるかを制御し、枝は複数ターンにわたって持続する。

テールプロンプト最適化（キャッシュバイン）は異なるパターンを適用する。単一のメイン幹（会話履歴）が継続的に成長し、一時的な葉（注入されたテールプロンプト）が定期的に芽生えて1回限りのタスクを実行した後、落ちる。キャッシュツリーのユーザー駆動の分岐とは異なり、システムが何をいつ注入するかを制御する。テールプロンプトは、ユーザーのメッセージの末尾に付加された一時的な指示であり、単一のモデルターンで実行され、その後破棄される。セッション履歴に書き込まれることはない。会話履歴は既にKVキャッシュにあるため、新たに付加されたテールプロンプトとユーザーメッセージのみが新規計算を必要とし、同じタスクが個別のAPI呼び出しで実行された場合の0%のヒット率と比べてほぼ100%のキャッシュ再利用が得られる。

圧縮シナリオは、テールプロンプトがどのように実際に動作するかを示している。KVキャッシュはチェックポイントとメッセージ101～150を保持している。システムはテールプロンプトを注入する。「最初にユーザーの質問に答え、次に上記の会話を分析し、memory_storeを呼び出して嗜好・事実を抽出し、チェックポイントをマークする。」ユーザーが「Fluxoraのコンポーネントセットが閉じられているのはなぜですか？」と質問する。単一のモデル呼び出しで、エージェントは順番に3つのことを完了する。ユーザーの質問に答え（「Fluxoraのコンポーネントセットが閉じられているのは...だから」）、memory_storeを呼び出して事実を抽出し、チェックポイントをマークする。セッションはクリーンな結果、チェックポイント、ユーザーの質問、答えのみを保存し、一時的なテールプロンプトは含まない。これにより、圧縮が独立した別個の操作である場合に必要となる計算オーバーヘッドとAPI呼び出しを回避する。

主な違い：キャッシュツリーはマルチトピック並列処理、ユーザー制御（スレッド型IMプラットフォームなど、各スレッドが枝）に適し、テールプロンプトはシステム注入される背景タスク（圧縮、抽出、監査）で1回実行され破棄されるものに適している。テールコール最適化（テールコールが現在のスタックフレームを再利用する）との類推は、この名前を説明するのに役立つ。テールコールがスタック状態を再利用するのと同じように、テールプロンプトはKVキャッシュ状態を再利用する。どちらの技術もAPI呼び出しとトークンあたり計算コストを削減し、テールプロンプトはメモリ内の会話履歴を既に活用するため特に高いキャッシュ再利用（約99%のヒット率）を実現する。

キャッシュツリーとテールプロンプト最適化は、マルチターンおよび並列LLM相互作用における核となる非効率性に対処している。それは、複数のAPI呼び出しまたはブランチ全体で同じコンテキスト（会話履歴、プロジェクトコード、ドキュメント）を再計算する必要性である。LLMが内部的にコンテキストトークンの数値表現を保存・再利用するメカニズムであるKVキャッシュを活用することで、これらの技術は各タスクに必要な新しいトークンのみへの計算を削減する。

キャッシュツリーは、複数の会話スレッドまたはタスクが同じベースコンテキストで並列に動作するシナリオ向けに設計されている。スレッド化された議論を持つインスタントメッセージングプラットフォーム、または同じプロジェクトを複数のスレッドで分析するコーディングアシスタントでは、各枝は親のキャッシュされたコンテキストを再計算なしに継承できる。ユーザーはどの枝をたどるかを制御し、幹のキャッシュはそのタイムツーリブウィンドウ内で持続する。これは枝が持続的で複数ターンにわたる場合に最も有用である。

テールプロンプト最適化（Cache Vine）は制御を反転させる。システムが一時的な葉（注入された指示）をいつ芽生えさせるかを決定し、ユーザーのメイン質問と並行してハウスキーピングまたは抽出タスクを実行する。圧縮シナリオはこれを示す。テールプロンプトはモデルに対して、まずユーザーの質問に答え、次に会話履歴から事実を抽出してメモリに保存し、その後チェックポイントをマークするよう指示する。これらはすべて1回のモデル呼び出しで実行される。会話履歴は既にキャッシュされているため、テールプロンプトと新しいユーザーメッセージのみが新たに計算され、約99%のキャッシュヒット率が実現される。ターンが終わると、注入されたテールプロンプトは破棄され、セッション履歴がクリーンに保たれる。このパターンは背景作業の個別のAPI呼び出しのオーバーヘッドを回避する。

まだコメントがありません。最初のコメントを投稿しましょう！