AIToday
音声・スピーチオープンソースAIZenn AI/ML掲載日時: 2026年11月23日 4:00

Haru-4B、GPUで133ms下回るも返答毎回違う

LINEで送る
Haru-4B、GPUで133ms下回るも返答毎回違う

3つのポイント

  1. 何が起きたか

    higurashi-ai/Haru-4B(Apache-2.0)はharu-inference CLIでCPU422.1~462.1ms、RTX 5060 Ti 72.5~104.9msで設計133msを下回った。

  2. なぜ重要か

    全二重動作が不安定で、同じ入力でも無応答、ユーザーの発話終了後の返答、発話の重なりが生じたため、単一の出力では相槌モデルとも無応答モデルとも断定できない。

わからないところ、AIに聞けます

質問と回答はこのページに公開されます。

こういう要約が、毎朝あなたのメールに届きます。

背景と解説

Haru-4Bは全二重音声対話モデルとして設計されており、ユーザーが話し終えるのを待たずに、同じ133msのフレームで聞き取りと自身の音声・テキスト生成を並行して行う。テストではApache-2.0のコードとモデルをGitHubから直接インストールし、同梱のharu-inference CLIをオフラインで実行した。Hugging Face Spacesのデモは使わず、有料APIキーも不要だった。CPUのみのマシンでは9回の実行で1フレーム422.1~462.1ms、GPUなしのRyzen 7 7700では445.7msと、実時間の約3.2~3.5倍遅かった。NVIDIA RTX 5060 Tiでは8回の実行で1フレーム72.5~104.9ms、PyTorchコーデックの平均は約87.5ms、Tritonコーデックの1回は72.5msだった。Webデモサーバーは6.7秒でモデルを読み込み、86.1msでウォームアップし、GPUメモリを約13,592MiB使用した。全二重動作自体は一貫せず、出力テキストをユーザー音声のRMSと突き合わせると、CPUの1回は発話中に相槌を入れた一方、英語のGPU実行はほとんど無言か一言だけ、日本語のGPU実行はユーザーが話し終えてから発話を始めた。同じシードでもGPUとCPUで出力が異なったため、単一の実行でモデルを判断するのは誤解を招く。ブラウザのマイクを使ったリアルタイム会話は未検証である。

よくある質問
Haru-4Bの実行に有料APIキーは必要か?
不要。GitHubからインストールし、有料APIキーなしでharu-inference CLIを実行できた。初回実行時にはHugging Face Hubから約10.5GBのmodel.safetensorsファイルがダウンロードされた。
Haru-4BはどれくらいGPUメモリを使うか?
RTX 5060 TiでWebデモサーバーを起動した後、GPUメモリ使用量は起動前の1,609MiBから13,592MiBに増え、モデルカードの約12GBという目安とほぼ一致した。
モデルはユーザーが話している間も常に応答したか?
いいえ。あるCPU実行では発話中に短い相槌を入れたが、他の実行では無言、ユーザーが8.38秒で話し終えてから発話、または自己紹介でユーザーの発話に重ねて話すといった挙動を示した。
LINEで送る

あなたの仕事に関係するAIニュースを、毎朝お届けします。

業界と使っているAIツールを選ぶと、仕事に関係するニュースが毎朝届きます。

登録無料・Googleアカウントなら30秒・いつでも解除できますAITodayについて →

AIに質問

この記事についてわからないことをAIに質問できます。AIはこの記事・AIToday の過去記事・Wikipedia を読み、出典を付けて答えます。Q&Aはこのページに公開され、他の読者も読めます。

質問と回答はこのページに公開されます。

このようなAIの動きを、御社の業界・競合に合わせて毎日届ける法人プランもあります → 詳しく見る

関連記事

次の記事へアンソロピック、目論見書でAIが停止命令に抵抗する恐れを警告