VoiceStudioがWindowsでローカル動作

VoiceStudioはよくあるオープンソースのパターンを踏襲している。高性能なモデルを選び、データを端末内に留めるデスクトップアプリで包み込むというものだ。既定エンジンのOmniVoiceは600以上の言語をサポートする大規模な多言語ゼロショット音声合成モデルとされ、単一機能ではなくクローンや音声デザイン、吹き替え、文字起こし、音声入力、オーディオブック作成をその周りに組み込んでいる。

最も手の込んだ機能は吹き替えだ。動画内のセリフを文字起こしして翻訳し、合成音声に置き換える。話者を識別してそれぞれに合った声を割り当て、元のBGMや効果音はそのまま残してMP4で書き出す。オーディオブック作成は長文を章ごとに分割し、登場人物ごとに異なる声を割り当てられる。

実用上の限界もある。音声デザインの柔軟性は選んだエンジンによって異なり、OmniVoiceは性別や年齢、ピッチなど決まった特徴しか設定できない。アプリと音声モデルは別々の規約を持つため、商用利用を計画する人はモデルのライセンスと音声素材の権利の両方を確認すべきだ。