推測デコーディング、品質低下なしで1.5～2.5倍高速化

推測デコーディングは、研究やパワーユーザーサークルを数年間循環してきた数学的に実証された高速化技術だが、今では出荷されるモデルの標準機能になりつつある。基本的な考え方は単純だ。トークンを1つずつ生成する（順序的プロセス）代わりに、小規模ドラフトモデルが次の複数トークンを予測し、メインモデルが単一の並列パスでそれらすべての予測をチェックする。メインモデルがドラフトに同意すれば、そのトークンは即座に受理される。同意しなければ、その予測は破棄され、メインモデルの選択が代わりに使用される。重要な洞察は、これが無損失であることだ。検証ステップは、メインモデルの出力分布を確実に再現する棄却サンプリング規則を使用するため、ユーザーは大規模モデルのみが生成したのと同一の出力を得られる。品質トレードオフはなく、速度のみだ。

研究論文は、データセンターハードウェアで2～3倍の高速化を記録している。元の 2022年 Google 論文（Leviathan ら）は T5X で2～3倍を報告。DeepMind の 2023年推測サンプリング論文（Chen ら）は 70B Chinchilla モデルで2～2.5倍を達成。Medusa（2024年）はモデルの追加デコーディングヘッドを使用して2.2～3.6倍を報告。EAGLE（2024年）は Llama 2 70B で2.7～3.5倍を達成した。ローカル高速化は通常はより小さく、ユーザーはコンシューマーハードウェアで1.5～2.5倍を現実的な結果として報告している。

従来の設定には手動ペアリングが必要だった。互換性のある小規模ドラフトモデル（同じファミリー—Qwen ドラフト用に Qwen、Llama 用に Llama、およびメインモデルサイズの約10分の1）を見つけることだ。LM Studio のガイダンスは8B モデル用に1B ドラフト、32B モデル用に1.5B までだった。ユーザーは両方のモデルを指定し、受理率（メインモデルが同意したドラフトトークンの割合）を監視する。受理率 70～80% は大ざっぱに2倍の速度を示した。60%以下では、オーバーヘッドが正味の損失になった。

2026年に変わったのは、モデルに直接トレーニングされた複数トークン予測（MTP）層の導入だ。2024年後半の DeepSeek-V3 の技術レポートはこの考え方を主流化し、追加ヘッドが MTP 目的でトレーニングされた場合、「推測デコーディングにも再利用できる」と述べた。2026年、主要モデル開発者は組み込みドラフタと共に出荷した。Qwen 3.6 は MTP 層を搭載し、llama.cpp はこの春 --spec-type mtp フラグで対応を追加した。あるユーザーが M2 Max 96GB で実行中の Qwen 3.6 27B で「2.5倍の速度向上、毎秒28トークンに達した」と報告した。Google の Gemma 4 はさらに進み、2026年5月にすべてのモデルサイズ用の公式 MTP ドラフタチェックポイント（電話サイズの E2B バリアント用に7800万パラメータのドラフタを含む）を出荷した。Ollama（Modelfile の DRAFT コマンド経由）、vLLM、SGLang、MLX を含む全体でサポートが確定した。Google は「標準生成と全く同じ品質を保証しながら」最大3倍の高速化を主張している。

高速化は特定のシナリオで最良に機能する。遅い（毎秒8～30トークン）密度の高いモデルは決定的な作業—コード生成、情報抽出、構造化出力、低温度生成—で最も利得を見る。N グラム推測（追加の VRAM コストなしで最近のトークンとパターンマッチングしてドラフト）は、コード編集、検索拡張生成、要約など、タスク用の無料の代替手段を提供する。しかし、この技術は3つのケースで一貫して逆効果になる。毎秒100トークン以上を既に達成している高速な混合専門家モデルはほぼ改善がない。RTX 3090 で実行中の Qwen3.6-35B-A3B（高速 MoE）の 2026年春独立テストはベースライン毎秒135.7トークン、最高推測結果毎秒131.1（3%遅い）、最悪ケース結果15%遅い（受理率が約100%に近い場合でも）を示した。問題は、各ドラフトトークンが異なる専門家スライスを計算に取り込むことができるため、バッチ検証は単一トークン生成をはるかに多く読み込み、並列検証上の利点を排除する。高温度での創作文も失敗する。予測可能な単一の継続がない場合、受理率が低下し、ドラフトオーバーヘッドがそれ以上を失う。最後に VRAM 圧力が重要だ。ドラフト1B を追加することでメインモデルが低い量子化に下がるか利用可能コンテキスト長が短くなれば、ユーザーは獲得したより多くを放棄している。

2026年、決定は簡潔だ。Qwen 3.6 または Gemma 4 を実行している場合、組み込み MTP ドラフタを有効にする。ペアリング作業がなく、設計で調整されている。密度の高いモデルがコーディングまたは構造化タスクで遅い（毎秒8～30トークン）と感じる場合、有効にして受理率を観察する。約70%以上で勝利している。60%以下で、ドラフトを変更または無効にする。メモリが限られているモデルについては、まず n グラム推測を試す。既に毎秒100トークン以上を達成している高速 MoE モデルでは完全にスキップする。自分のワークロードとハードウェアで有効化前後の毎秒トークン数を測定する。RTX 3090 結果が示すように、重要な唯一のベンチマークはあなた自身のマシンだから。

推測デコーディングは、ローカル大規模言語モデル推論における根本的なボトルネックに対処する。トークン生成はメモリ帯域幅制限であり、計算制限ではない。プロンプト全体を毎秒800トークン以上で処理する GPU は、各新しいトークンがモデルの重みを VRAM から読み込み必要で演算ユニットがデータ待ちになるため、生成中は毎秒20トークンに落ちる。この技術は、小規模ドラフトモデルに複数トークン先を予測させ、すべての予測をメインモデルで同時にチェックする並列検証タスクに生成を変換し、GPU が得意な作業にする。

2026年に変わったのはドラフトモデルの出所だ。以前はユーザーが互換性のある小規模モデル（例：Llama ドラフト用に Llama、同じファミリーが必要）を手動でペアリングし、サイズ比を調整する必要があった（メインモデルのパラメータの約10分の1、またはそれ以下）。現在、モデル開発者は 2024年後半の DeepSeek-V3 が実施したように、トレーニング中に複数トークン予測ヘッドをモデルに直接埋め込み、Qwen や Google が 2026年に形式化した。これにより設定の手間が省け、ドラフタは完全に調整されてボックスに入っており、コマンドラインフラグを有効にするだけで済む。Ollama、llama.cpp、LM Studio はすべて新しい形式への対応を追加した。

獲得は実だが条件付きだ。毎秒8～30トークンで爬行する密度の高いモデルは、決定的な作業（コード、抽出、構造化出力）で最も効果があり、品質低下ゼロで1.5～2.5倍の高速化が見られる。検証ステップはメインモデルの出力を数学的に再現するためだ。しかし、既に毎秒100トークン以上の高速な混合専門家モデルはほぼ利得がない。それぞれのドラフトトークンが異なる専門家スライスをメモリに取り込み、バッチ検証は単一トークン生成より多くの重みを読み込むため、計算がアイドル状態ではない。高温度での創作文も苦しむ。ドラフトモデルの予測が不安定になるためだ。受理率（メインモデルが同意するドラフトの割合）が診断指標だ。約70%以上で速度勝利、60%以下で損失が得より大きい。

まだコメントがありません。最初のコメントを投稿しましょう！