KVキャッシュと連続バッチで待ち時間14秒に

ランダムな重みを持つ小さなトランスフォーマーを単一のCPUスレッドで動かし、1,000件のリクエストが一斉に到着する様子を再現するキューシミュレーション。この設定は意図的に控えめなもので、著者はタイミングがこの実装にのみ当てはまり、本番システムには当てはまらないと注記している。その範囲内では、prefill（プロンプトを一度処理する）とdecode（新たなトークンを1つずつ生成する）の分離がキャッシュを価値あるものにする。以前のトークンのキーと値は決して変わらないため、再計算は純粋な無駄になる。

キューシミュレーションは第2の層を加える。キャッシュだけでは、最初のトークンまでの中央値は452秒から24秒に下がった。処理済みのリクエストをバッチから離脱させるスケジューリングを加えると14秒になった。最大の単一効果はキャッシュで、最終的な差は2つの変更が混ざったものだ。これはメモリコストも示している。各アクティブなリクエストは独自のキャッシュを保持し、想定した次元では4,096トークンの会話が512 MiBを占めるため、同時に実行できるリクエスト数が制限される。

著者が示す実用的な結論は限定的だ。自分のマシンで自分のためにモデルを動かすなら、キャッシュはすでに機能している。バッチ処理はサーバーを共有する段階で重要になる。数値はこのパターンの実証であり、どの企業のシステムのベンチマークでもない。