Gemma 4、MTPで最大2.19倍高速化

Suwesh Prasad Sah氏が9月28日に発表し、ここではプレプリントのテクニカルレポートとして引用されているこの研究は、Gemma 4の新リリースを扱ったものではない。対象モデルとハードウェアを固定したまま、次のトークンを提案する補助ドラフターモデルを使うかどうかという1つの変数のみを切り分けている。

Gemma 4のドラフターは、対象モデルの隣に置かれる小さな独立した言語モデルではなく、対象モデルのアクティベーションとKVキャッシュを利用する。提案された2つの候補が両方とも受理されると、対象モデルはさらに1トークンを追加し、1回の検証ラウンドで最大3トークンまで進む。ドラフター自体が処理を追加するにもかかわらず、この仕組みが効果を発揮する理由はそこにある。

研究の測定は合計360リクエストにわたり、出力の検証はMTP試行180件中172件、標準試行180件中177件で成功した。残りの11件は除外されず速度の合計に含められ、正しく完了した出力のみを数えた場合でも、推論問題における約2倍の削減は維持された。報告された数値はプレプリントによるもので、記事の著者が算術的に再確認したが、推論の再実行は行っていない。