ShardFlow、2リージョンで28TPS推論

HuggingFace transformersを複数のGPUマシンに分割する分散LLM推論フレームワーク「ShardFlow」の開発者が、オハイオ州のAWS EC2 TCPリレー（往復遅延約86ms）経由で接続したアイオワ州とオレゴン州のGCPリージョンにある2つのT4ノード上でQwen2.5-7Bをベンチマークした。ニューラル投機的復号とCUDA Graphsを併用し、ピーク時スループットは28.10 TPS、平均20.31 TPSを達成。非投機的推論では4.92 TPSだった。