中国・香港・シンガポールの研究者が、0.4秒ごとに発話判断する音声対話モデル「Audio-Interaction」を開発

Audio-Interactionは3billion parameterの単一モデルで、音声ストリームを連続監視し、0.4秒単位で<silent>または<response>トークンを出力して、発話か沈黙かを決定する。翻訳、文字起こし、チャット、日常音の認識をすべて一つのシステムで実行する。

MMUAオーディオベンチマークで58.15ポイントを獲得し、ベースモデルのQwen2.5-Omni-3Bをわずかに上回った。英中翻訳ではベースモデルから大幅に改善。ProactiveSound Benchの644件の人工キュレーション済みイベントではGemini 3 Flash、Kimi-Audio-Instruct、Step-Audio 2らに勝った。

研究チームは2.6 million unitsで約302,000時間の音声を含むStreamAudio-2Mデータセットを構築し、7つのスキル領域と28の副タスク向けに学習データを生成した。

コードと重みのダウンロード手順はGitHubでApache 2.0ライセンス下で公開されており、商用利用に制限がない。