Hugging Face、TTS評価を時間単位に短縮

Hugging FaceのOpen TTS Leaderboardは、オープンソースの音声合成モデルのリリースが驚異的なペースで続く中で登場した。2026年9月30日時点でHugging Face Hub上のTTSモデルは8Kを超える。しかし評価は追いついておらず、断片化され標準化されていない。MOSやMUSHRAのような人間の嗜好スコアがゴールドスタンダードであり、TTS Arena v2、Artificial Analysis、Voice Arenaなどのアリーナ型リーダーボードが投票を集めてEloスコアを算出することで参照点となってきた。だがアリーナはリリースに追いつくようスケールできず、それがオープンソースモデルの存在感の薄さの一因かもしれない。Artificial Analysisの92モデルのうちオープンウェイトは16のみで、Voice Arenaでも同様の偏りがある。

新しいリーダーボードは、客観指標で補完的な側面を評価することでこのギャップを埋めようとしている。明瞭性は単語・文字誤り率、速度はRTFxとTTFA、話者類似度はWavLM埋め込みのコサイン類似度で測る。これにより評価時間は2週間程度から2時間程度に短縮される。人間の嗜好ランキングを置き換えるものではない。ASRベースのWERは明瞭性の代理指標であり、話者類似度は声の同一性保持を推定するが、どちらも自然さや表現力を直接測るものではない。それでもこれらの指標は、投票型リーダーボードがどのモデルを含めるかの判断に役立ち得る。

このリーダーボードはコミュニティによって形作られることを意図しており、評価スクリプトは近くオープンソース化される予定だ。成功は、コミュニティがフィードバックと投票を寄せるか、また客観指標が多言語や音声クローンのシナリオでモデル選択に有用であると証明されるかにかかっている。現時点ではオープンソースモデルと多言語性能に焦点を当てている。英語の性能は他言語の適切な代理指標にはならないからだ。