推測デコーディング技術の新モデルが1000トークン/秒以上を達成、従来の2～3倍の速度上限を突破しました。

要点

• Modal が新しい DFlash ドラフトモデルをリリースし、推測デコーディングによる推論速度の上限を従来の 2～3 倍から大幅に超える水準へ引き上げました。

• Qwen 3.5 122B-A10B では 1000 トークン/秒以上の速度を達成し、従来の 250 トークン/秒から 4 倍以上高速化しています。

• ブロック拡散方式により複数トークンを並列に予測し、ターゲットモデルの内部表現を活用することで、トークン採用率が大幅に向上した結果です。

3つのポイント

よくある質問

従来の推測デコーディングとの違いは何ですか？

従来の推測デコーディングは、小さなドラフトモデルが 1 トークンずつ左から右へ順序立てて生成するため、2～3 倍の速度上限に留まっていました。DFlash はブロック拡散モデルを使って複数トークンを一度に並列処理するため、ドラフトコストが一定に抑えられ、より高い速度向上が可能になります。

採用率が重要なのはなぜですか？

LLM の推論処理はメモリ読み込み律速であり、各ステップはモデルの重みを GPU メモリから計算ユニットに移動するのにほとんどの時間を費やします。ドラフトモデルが提案したトークンがターゲットモデルに採用される割合（採用率）が高いほど、スループットが向上するため、実運用での性能向上に直結します。

利用するにはどうすればよいですか？

DFlash ドラフトモデルは既に vLLM、SGLang、Transformers に統合済みで、HuggingFace で Qwen および他のモデルファミリー向けのモデルが提供されています。