プレフィックス考慮ルーティングで応答短縮

llm-dのベンチマークは、ルーティングの判断をLLMサービング性能の中心に据えている。テストワークロードは150の顧客を模擬し、各顧客が6,000トークンの共有コンテキストを持ち、5人のユーザーが1,200トークンの質問を3〜60 QPSで送信した。これらの共有プレフィックスはクラスタのKVキャッシュの約73%を必要とし、これは1つのポッドが保持できる量の約6倍で、ルーティングの選択が最も重要になる条件である。

ルーティング戦略間の差は大きかった。ランダムルーティングのp90の最初のトークンまでの時間は92.6秒、負荷考慮のみは94.9秒、近似プレフィックス考慮は31.1秒、精密なプレフィックス考慮は0.54秒だった。負荷考慮ルーティングはこのテストではランダムと比べて改善しなかった。各リクエストがプレフィックスを再計算しなければならないGPUに着地したためだ。

その後のllm-dの再実行では、新しいvLLM上で、単純なKubernetesのラウンドロビンServiceに対して、差は小さくなったものの、p90の最初のトークンまでの時間は依然として99%以上減少した。これらはすべてプレフィックスキャッシュ自体が機能していることに依存しており、プロンプトの先頭にあるタイムスタンプはそれ以降のすべてのブロックを壊す。