AIToday
大規模言語モデルHacker News掲載日時: 2026年7月25日 16:01

推測デコーディング、品質低下なしで1.5~2.5倍高速化

LINEで送る
推測デコーディング、品質低下なしで1.5~2.5倍高速化

3つのポイント

  1. 何が起きたか

    Qwen や Google(Gemma 4)を含むモデル開発者が、複数トークン予測(MTP)層をモデルに組み込んで出荷するようになり、別途ドラフトモデルを探す必要がなくなった。小規模ドラフトモデルで複数トークンを予測し、メインモデルで並列検証する推測デコーディング技術は、パワーユーザー向けの設定から LM Studio、llama.cpp、Ollama のワンクリック機能へと進化した。

  2. なぜ重要か

    この技術は、ローカル推論で数学的に同一の出力を保ったまま1.5~2.5倍の高速化を実現し、品質上の妥協がない。トークン生成(メモリ帯域幅制限)を並列検証タスク(GPU が得意)に変換することで機能する。ローカル LLM を控えめなハードウェアで実行するユーザーにとって、毎秒8トークンと毎秒20トークン以上の違いになる可能性がある。

  3. 注目点

    受理率が重要な指標だ。約70%以上なら速度向上が得られ、60%以下なら性能低下につながる。毎秒100トークン以上の高速な混合専門家モデルや、ドラフトモデルの予測が不安定な創作文では逆効果になる。Qwen 3.6 と Gemma 4 は MTP ドラフタが組み込まれており、他のモデルについては n グラム推測を試すとよい(追加の VRAM コストがゼロ)。

わからないところ、AIに聞けます

質問と回答はこのページに公開されます。

こういう要約が、毎朝あなたのメールに届きます。

背景と解説

推測デコーディングは、ローカル大規模言語モデル推論における根本的なボトルネックに対処する。トークン生成はメモリ帯域幅制限であり、計算制限ではない。プロンプト全体を毎秒800トークン以上で処理する GPU は、各新しいトークンがモデルの重みを VRAM から読み込み必要で演算ユニットがデータ待ちになるため、生成中は毎秒20トークンに落ちる。この技術は、小規模ドラフトモデルに複数トークン先を予測させ、すべての予測をメインモデルで同時にチェックする並列検証タスクに生成を変換し、GPU が得意な作業にする。

2026年に変わったのはドラフトモデルの出所だ。以前はユーザーが互換性のある小規模モデル(例:Llama ドラフト用に Llama、同じファミリーが必要)を手動でペアリングし、サイズ比を調整する必要があった(メインモデルのパラメータの約10分の1、またはそれ以下)。現在、モデル開発者は 2024年後半の DeepSeek-V3 が実施したように、トレーニング中に複数トークン予測ヘッドをモデルに直接埋め込み、Qwen や Google が 2026年に形式化した。これにより設定の手間が省け、ドラフタは完全に調整されてボックスに入っており、コマンドラインフラグを有効にするだけで済む。Ollama、llama.cpp、LM Studio はすべて新しい形式への対応を追加した。

獲得は実だが条件付きだ。毎秒8~30トークンで爬行する密度の高いモデルは、決定的な作業(コード、抽出、構造化出力)で最も効果があり、品質低下ゼロで1.5~2.5倍の高速化が見られる。検証ステップはメインモデルの出力を数学的に再現するためだ。しかし、既に毎秒100トークン以上の高速な混合専門家モデルはほぼ利得がない。それぞれのドラフトトークンが異なる専門家スライスをメモリに取り込み、バッチ検証は単一トークン生成より多くの重みを読み込むため、計算がアイドル状態ではない。高温度での創作文も苦しむ。ドラフトモデルの予測が不安定になるためだ。受理率(メインモデルが同意するドラフトの割合)が診断指標だ。約70%以上で速度勝利、60%以下で損失が得より大きい。

よくある質問
推測デコーディングはローカルモデルを実際にどのくらい高速化するか?
ローカルハードウェアで同一出力のまま1.5~2.5倍の高速化が期待できる。あるユーザーは M2 Max で実行中の 27B Qwen モデルで2.5倍の速度向上を報告し、毎秒28トークンに達した。データセンターハードウェアでの論文結果は技術によって2~3.6倍の向上を示しているが、ローカル結果は通常はより小さい。
品質または精度のトレードオフはあるか?
ない。検証ステップは棄却サンプリングを使用し、メインモデルの出力分布を数学的に再現するため、大規模モデルのみを使用した場合と全く同じ結果が得られる。Google の Gemma 4 ドキュメントは「標準生成と全く同じ品質」を保証している。
推測デコーディングが処理を遅くするのはいつか?
毎秒100トークン以上を既に達成している高速な混合専門家モデル(独立テストでは Qwen3.6-35B-A3B モデルが3%遅くなり、最悪の場合15%遅くなることが示された)、創作文タスク(受理率が60%以下に落ちる)で逆効果になる。また、ドラフトモデルを追加することでメインモデルが低い量子化段階に下がったり、利用可能なコンテキスト長が短くなったりする場合も該当する。
どのモデルが組み込み型の推測デコーディング対応を持つか?
Qwen 3.6 は複数トークン予測層を搭載しており(2026年春以降 llama.cpp で --spec-type mtp で対応)、Gemma 4 は 2026年5月に全サイズの公式 MTP ドラフタチェックポイントを出荷し、Ollama、vLLM、SGLang、MLX 全体で対応している。
LINEで送る

あなたの仕事に関係するAIニュースを、毎朝お届けします。

業界と使っているAIツールを選ぶと、仕事に関係するニュースが毎朝届きます。

登録無料・Googleアカウントなら30秒・いつでも解除できますAITodayについて →

AIに質問

この記事についてわからないことをAIに質問できます。AIはこの記事・AIToday の過去記事・Wikipedia を読み、出典を付けて答えます。Q&Aはこのページに公開され、他の読者も読めます。

質問と回答はこのページに公開されます。

このようなAIの動きを、御社の業界・競合に合わせて毎日届ける法人プランもあります → 詳しく見る

関連記事

マイクロソフトがAIエージェントで攻撃対抗サービス提供開始

Microsoft Ignite 2026でマイクロソフトは赤・青・緑チームのエージェントを組み合わせ攻撃模擬・検知調査・脆弱性修正を行うMicrosoft Perceptionの一般提供を発表した

NEWPublickey4時間前

Windows Server 2028がパブリックプレビュー公開

Microsoft Ignite 2026でWindows Server 2028のパブリックプレビューが公開され、Microsoft Foundry、Windows ML、vLLM、Llama.cppによるAI推論ホス…

NEWPublickey4時間前

AUMOVIOがLLMの唯一の経路をDatabricksに統一

AUMOVIOはDatabricks Unity GatewayをLLMへの唯一の経路に採用

NEWDatabricks AI Blog4時間前

CADMAGEDDON、5ベンチマークで最先端CADモデル超え

CADMAGEDDONはBenchCADの64³ボクセルIoUで、1000部品のサブセットにおいて0.991を記録し、Claude Sonnet 5.5の0.963、Claude Opus 5.5の0.962、GPT-6…

NEWAI Weekly4時間前

MIT Technology ReviewのAI指数、AIは遍在

MIT Technology ReviewのAI誇大広告指数はAIの広がりを示し、GoogleのAI Overviewsが広告収入で数十億ドルを失わせたことやAI支援のサイバー攻撃を挙げた

NEWMIT Technology Review AI4時間前

Thomas Nagel、AI意識説を「馬鹿げている」と一蹴

哲学者トーマス・ナゲル氏はバーグルエン賞受賞後のインタビューで、大規模言語モデルが意識を持つ可能性を真剣に受け止めるのは「馬鹿げている」と述べ、AnthropicのClaudeへのアプローチを「犯罪的」と呼んだ

NEWWIRED AI4時間前
次の記事へ韓国がシリコンバレーでAI協力推進枠組みを発表