言語識別が多言語音声AIを誤り率10.4%に

この研究は音声AIの長年の謎に取り組んでいる。複数言語で訓練されたモデルは、総訓練データ量が同じでも、単一言語で訓練されたモデルより各言語で性能が低下する傾向がある。著者らは英語とフランス語の厳密に制御されたHuBERT設定でこれを検証し、多言語モデルと単言語モデルを直接比較できるようにした。

彼らの修正策は、補助言語分類器と言語別k-meansターゲットを使い、事前学習中にモデルへ言語の識別を促すことだった。この調整により、音素識別、語彙性能、韻律など言語品質の複数の指標が改善した。タイミングが重要で、訓練の早い段階で言語識別を導入すると最大の利得が得られ、後からまたは繰り返しの介入は効果が小さく、言語間の分離が大きくなった。

これらの結果は、言語識別が多言語ペナルティを減らす因果要因であることを示唆するが、研究は2言語と1つのモデルファミリーのみを対象とするため、この発見がどこまで一般化できるかは不明だ。より多くの言語を扱う設定に同じ手法が拡張できるかが試金石となる。