リアルタイム音声AIパイプライン向けの軽量性別分類器をリリース。モデルサイズ0.64 MB、パラメータ166K、CPU単一スレッド推論で約4 ms。ONNX形式でエクスポート、推論時にPyTorchは不要。
2層双方向LSTM（時系列データを両方向で処理するニューラルネットワーク）とソフト注意メカニズムを採用。16 kHz 3秒音声クリップの40 MFCC係数（音声の周波数特性を抽出した特徴量）を入力として、シグモイド関数で性別を判定。
LibriSpeech test-cleanで94.4%精度、FLEURS多言語テスト（EN/DE/FR/ES/IT）で94.3%精度を達成。ただしEdAcc（訛りのある国際英語）では75.6%に低下するため、強い訛りを持つ話者には VCTK などの訛り付きコーパスでの再学習が必要。
訓練データはLibriSpeech train-clean-100と FLEURS訓練セット（5言語）で、男女50/50にバランス調整。グラマティカルジェンダーを持つポーランド語、ドイツ語、フランス語、スペイン語、イタリア語などで、音声から話者の性別を認識して文法的な形態変化に対応するユースケースを想定。
こういう要約が、毎朝あなたのメールに届きます。
業界と使っているAIツールを選ぶと、仕事に関係するニュースが毎朝届きます。
登録無料・Googleアカウントなら30秒・いつでも解除できますAITodayについて →
この記事についてわからないことをAIに質問できます。AIはこの記事・AIToday の過去記事・Wikipedia を読み、出典を付けて答えます。Q&Aはこのページに公開され、他の読者も読めます。
ElevenLabsが220億ドルの評価額で3億ドルの従業員向けテンダーを完了し、Mati Staniszewski氏は音声が主要なインターフェースになると予測した
日俳連は10月15日、生成AIの音声利用ガイドラインを発表した
Aratakoによる日本語専用のオープンTTSモデルIrodori-TTSを、Databricks Model Serving上で動かし、テキストを送ると音声を返すAPIとして使う手順が公開された
個人開発者がYuruneを制作した
開発者がMoonshine Voiceの日本語「Small Streaming」モデルをLinux CPU（16コア）上でfaster-whisperのsmallモデルと比較し、合成音声・FLEURSの20クリップ・自作…
日本俳優連合は10月15日、音声に関する生成AIガイドラインを策定し、学習・生成・公開の全段階で演者の事前同意を求めた
