Evolving InfraがTTFTを最大14倍短縮

今回の公開は、エージェント型AIワークロードの挙動にある特定のミスマッチに対処するものだ。エージェントは長く不規則なコンテキスト列を生成し、プリフィル（プロンプトの読み込み）とデコード（出力の生成）のバランスが絶えず変化する。Dynamoを含む既存の分離型サービングシステムは、オフラインプロファイルに基づいて計算資源の割り当てを決めており、こうしたパターンが変わるとプロファイルが陳腐化する。高並列時にレイテンシの悪化が現れるのはそこだ。

Evolving Infraの答えは問題を二つに分けることにある。オンラインプランナーがプリフィルとデコードの配分をその場で調整し、エージェント対応の分散KVマネージャーがノード間のキャッシュ退避と転送を担う。この設計により、GLM-5.2とKimi K2.6を用いた256 GPUでの評価で、Dynamo比でP95 time-to-first-token最大14倍、平均エンドツーエンド遅延最大4.1倍の改善を実現した。

著者リストにはMITのHan LabのSong Han、UCバークレーのIon Stoica、ジョージア工科大学のTushar Krishna、Huizi Maoらが名を連ね、システム研究と本番サービングの交差点に位置する成果であることを示す。オープンソース公開により、インフラチームはベンダーが商用スタックに取り込むのを待たず、これらのアイデアを直接評価できる。