ShardFlow、2リージョンで28TPS推論

何が起きたか

HuggingFace transformersを複数のGPUマシンに分割する分散LLM推論フレームワーク「ShardFlow」の開発者が、オハイオ州のAWS EC2 TCPリレー（往復遅延約86ms）経由で接続したアイオワ州とオレゴン州のGCPリージョンにある2つのT4ノード上でQwen2.5-7Bをベンチマークした。ニューラル投機的復号とCUDA Graphsを併用し、ピーク時スループットは28.10 TPS、平均20.31 TPSを達成。非投機的推論では4.92 TPSだった。

なぜ重要か

K=8のドラフトで1往復あたりの確定トークン数が1から4.07に増え、WANレイテンシをトークン単位のコストからラウンド単位のコストに転換できることを示した。これにより、パブリックインターネット経由の分散推論が実用的になり、単一リージョンやオンプレミスクラスタへの依存を減らせる可能性がある。国内のクラウド利用企業は、地理的に離れた複数のGPUノードを組み合わせて大規模言語モデルを動かす選択肢を得る可能性がある。

注目点

同じ構成でQwen2.5-14BをNF4 4ビット量子化し、平均14.43 TPSを記録。開発者はv2.1の修正点として、Pythonループから毎ラウンド約1500個のCUDAカーネルを起動していたドラフト生成に対し、CUDA GraphsでCPU側の起動オーバーヘッドを削減したことを挙げており、さらなる最適化の余地を示唆している。