AI、音声理解で読み取りに大幅劣後 USC研究

USC Viterbi School of EngineeringのMohammad Soleymani教授が率いる研究チームは、現代の最も高度な音声LLMですら、話された言葉を超えた情報を解釈する際に苦戦することを発見しました。プロジェクトは昨年8月に開始され、今月ICML 2026に採択された論文「Do Audio LLMs Listen or Read? Analyzing and Mitigating Paralinguistic Failures with VoxParadox」にまとめられています。

音声LLMは、テキスト入力のほか音声や環境音も処理できるマルチモーダルAIです。ChatGPTやGeminiなどの会話型AIに組み込まれており、ユーザーが直接AIに話しかけ、リアルタイムで音声応答を受けたり、アップロードした音声録音を分析できます。これらのモデルは音声を数値表現（ベクトル）に変換し、モデルの内部「言語脳」が理解できる形式に翻訳することで動作しますが、言語への強いバイアスを持つため、音声の音響的実態を無視する傾向があります。その結果、話された言葉を正確に文字起こしすることは得意ですが、話し方—話者のトーン、感情、ピッチなど—を理解することには失敗しており、実質的に「音痴」になっています。

研究チームは、この弱点を明かすために「ストレステスト」シリーズを設計し、VoxParadoxというベンチマークを導入しました。このベンチマークは、話者の年齢や性別の推定、話者の数の計数といった生体・身元関連のタスク、および感情・イントネーション・ピッチ・音量の識別といった韻律・音響タスクを含む10種類の非言語タスク全体でモデルを評価します。各タスクでは、話された言葉が音声内容と意図的に矛盾するオーディオクリップをモデルに提示し、発話された言葉が真か偽かを判定するよう求めました。NVIDIAのAudio Flamingo 3とAlibabaのQwen2-Audioの両モデルを評価した結果、いずれも非言語情報を正確に解釈するのに苦戦しました。

その後、研究チームはモデルの内部層をプローブして、音声LLMが非言語情報を解釈できない理由を理解しようとしました。モデルの内部計算をリアルタイムで検査した結果、ピッチやトーンといった音響詳細は、音声データがモデルの層を言語処理成分に向かって移動する際に段階的に「削ぎ落とされる」ことを発見しました。情報が最終的な意思決定層に到達する時点では、多くの音響情報が消失しています。研究チームはこの現象を「表現劣化」と呼びます。さらに「利用ギャップ」も特定しました。正しい音響情報はモデルの内部表現内に存在することがよくありますが、モデルの意思決定プロセスは言語に非常に大きく偏っており、利用可能な音声証拠を単に無視してしまうのです。

研究チームは、音声LLMが聞いたことを保持し、価値を与えるのを支援するために設計された2部構成のソリューションを提案しました。まず、Prompt-Conditioned Layer Mixer（PCLM）というモジュールを開発しました。これは、提示された質問に基づいて、モデルが「聞くべき」音声の正確な部分を決定するのに役立ちます。音声がエンコーダを通過する際、ピッチやトーンといった音響詳細は、モデルが言葉にますます集中するにつれて深い層で抑制されることが多いです。PCLMはエンコーダの最終層だけに依存する代わりに、複数の層から同時に情報を取得してから言語モデルに渡します。これにより、モデルはピッチ、音量、話者特性などの基本的な音響情報の捉え方に優れた処理の早い層—と語彙と言語の理解を専門とする深い層—の両方にアクセスできます。その結果、モデルは「話した内容」を解釈する言語中心の層だけに頼るのではなく、「どのように聞こえるか」に関する質問に答える際に、あの早い「聞く」層に立ち戻ることができます。PCLMはユーザーのテキストプロンプトも検査して、特定のタスクに必要な音声情報の最適な組み合わせを決定します。Soleymani教授はこれを「レシピに従うような『ソフト選別』プロセス」と説明しています。例えば、ユーザーが「このスピーカーは怒っていますか？」と尋ねた場合、PCLMはそのタスクが話された言葉よりも感情的手がかりにより多く依存していることを認識し、より正確な判定を下すために、言語中心の層からより少ない情報を引き出し、早い音響処理層からより多くの情報を描画する可能性があります。Soleymani教授は「ちょうど補聴器のように、PCLMはあなたの質問に最も関連のある音声キューの音量をブーストする」と述べています。チームはまた、Direct Preference Optimization（DPO）という第2の手法も適用しました。これは、モデルの意思決定プロセスを利用可能な音響証拠と整合させる学習後の方法です。DPO学習中、モデルは応答のペアを示され、どの答えが音声とより良く一致しているため好ましいかを学習し、テキストショートカットに依存するのではなく、実際に聞いたことにより多く依存するよう促されます。PCLMとDPOの両方を組み合わせることで、研究者によると「非常に顕著な改善」が生まれました。両方の手法を組み込んだ後、モデルが非言語情報を解釈する能力は劇的に向上し、精度は17%から65%に上昇しました。本研究は、音声LLMのこの盲点を特定し、それに対処するソリューションを提案した初めての研究です。