全二重音声AIを学習不要で2.6〜2.8倍高速化する手法

同時聴取と発話を可能にする全二重音声モデルは、通常、聴取ウィンドウと発話ウィンドウを固定時間のチャンクで交互に配置する。聴取ウィンドウ中、音声が流れ込む間デコーダはアイドル状態となり、計算サイクルを浪費する。Speculative Listeningはこれを活用し、アイドル時間に無音仮説の下でデコードし、実際の音声が到着したら起草を検証・修正する。論文によると、修正が必要な場合、その88%は最初の出力トークンのみに影響し、ロールバックのコストは低く抑えられる。このアプローチはモデル変更や追加学習を要する手法と対照的だ。8タスクで評価するチャンク単位の遅延ベンチマーク「TickTock-Bench」の導入は、この分野の進展を測る標準的な手段を提供するかもしれない。この研究は中国香港中文大学（深圳）のYutong Bian氏らによりarXiv:2611.06982として公表された。