ブラウザで13言語のリアルタイム文字起こし公開

Voxtral Mini 4B Realtime WebGPUはHugging Faceで配布されており、モデルのページからワンクリックで文字起こしを開始できる。初回利用時にブラウザが約2.8GBのモデルデータをダウンロードし、次回以降はキャッシュを再利用できる。インターフェースは最小限で、マイクボタンを押すと認識が始まり、認識されたテキストがほぼリアルタイムでTranscriptペインに表示される。

モデルは日本語、英語、中国語、韓国語、フランス語、ドイツ語、スペイン語、イタリア語、ポルトガル語、オランダ語、ロシア語、アラビア語、ヒンディー語の13言語に対応するが、言語選択メニューはなく、話された言語を自動で検出する。音声をテキストにする機能に特化しており、翻訳や話者ラベル付け、音声ファイルのアップロードは含まれていない。

処理はすべてローカルマシン上で行われる。AIモデルはHugging FaceのTransformers.jsからONNX形式のモデルとして読み込まれ、WebGPU経由でPCのGPU上で動作するため、音声をリモートサーバーに送る必要はない。このローカル処理方式はハードルの高さにもつながり、ブラウザとGPUがWebGPUとshader-f16（16ビット浮動小数点演算）に対応している必要がある。VRAM 4GBのPCでエラーが起きたとの報告があり、GPUメモリ8GBでのテストでは、ツール起動前は2.0GBだったメモリ使用量が実行中に5.9GBまで増加した。