HuBERTで多言語の壁縮小 言語識別の強化が鍵

多言語の自己教師あり学習モデルは、言語間で情報を共有できる利点がある一方で、同じ学習データ量の下では単一言語モデルに及ばないという課題を抱えてきた。この研究は、その差を生む要因の一つとして言語識別の弱さに着目し、英語とフランス語のHuBERTを用いた統制実験で、補助言語分類器と言語別k-meansターゲットという2つの介入を検証した。結果として、音素識別エラーは11.6%から10.4%へ減少し、単一言語モデルの10.8%を上回る性能を示した。また語彙性能（sWUGGY）は52.1%から56.7%へ、韻律性能（ProsAuditの語彙サブタスク）は68.9%から72.9%へと向上し、単一言語モデルの58.5%、72.6%に迫った。特筆すべきは、言語識別の導入タイミングの効果で、最初の学習段階で導入した場合に最も大きな改善が得られ、後から導入したり繰り返したりすると改善幅が小さくなり、言語ごとの分離が進むという結果だった。このことは、言語識別が多言語学習の追加コストを減らす因果的な役割を支持するとみられる。多言語モデルの性能向上を目指す開発者にとって、学習の早い段階で言語識別を促す設計が有効である可能性を示す一方、実際の大規模モデルや多言語数での再現性、他の言語ペアへの一般化は今後の検証課題とみられる。