NVIDIA、VoiceArenaで首位

NVIDIAの以前のストリーミングダイアリゼーションのアプローチは、4話者の会話を扱うNVIDIA Streaming Sortformerでした。Nemotron 3 DiarizationはそのSortformerアーキテクチャを基盤とし、出力話者を最初に現れた順に並べ、8話者へ拡張しています。NVIDIAはこの到着順の設計により、コンテキストが限られる際の一般的な失敗モードである、チャンクごとに話者順列を解き直す必要を避けられるとしています。

学習データの話もこのリリースの一部です。NVIDIAによれば、公開およびライセンス取得済みの音声データを使用し、David AIからライセンス取得した実世界の複数話者会話も含まれ、このデータの追加により複合ダイアリゼーション誤り率がオフライン型と超低遅延の両動作点で0.77ポイント（絶対値）改善し、11.19%から10.42%になりました。モデルには、入力バッファ遅延30.4秒から0.32秒に及ぶ推奨動作点群も付属し、1つのチェックポイントでオフライン文字起こしとストリーミングの両方に対応できます。

結局のところ、ベンチマークのリードが本番での勝利につながるかどうかです。VoiceArenaの結果は暫定で、Version 1評価の完了により変わりうるほか、NVIDIA自身も、話者帰属テキストを生成するにはダイアリゼーションモデルを別のASRシステムと組み合わせる必要があると注意しています。会議要約、通話分析、音声エージェントのメモリを構築する人にとっての試金石は、こうした製品が実際に遭遇する雑音の多い重複音声で両モデルを評価したときに、14.72%のDER優位が維持されるかどうかです。