ストリーミングSTTで音声応答がp50 1.594秒に

このプロジェクトは、AIにゆっくりしたキャラクター風の声で喋らせる実験として始まり、音声合成にAquesTalk、認識にwhisper.cpp、その間にLLMを組み合わせて作られた。そのバージョンは動作したが、やり取りがタイピングではなく音声になると、返答前の間が目立つようになった。開発者の答えは、ユーザーがまだ話している間にテキストが届くよう、音声認識側を作り直すことだった。

変わったのはストリーミングモデルだけではない。VADがユーザーが間を置いたと判断し、Smart Turnがターンが本当に終わったかを判断し、LLMが暫定テキストで投機的に開始する。最終的な文字起こしが推測と一致すればその回答が採用され、一致しなければ破棄して再生成する。100ターンのテストでは、100件の返答のうち74件がこの方法で採用された。別のWhisper経路は、最終認識ステップをキャンセルしていたタイムアウトも明らかにし、開発者は確定作業と投機的タイムアウトを分離することで修正した。

今後の焦点は、これらの改善が開発者自身のマシン以外でも維持されるかどうかにかかっている。スレッドスピンの問題は長時間のソークテストでのみ現れたため、このランタイムの価値は、そうした遅延を測定し続けて捉えられるかどうかにかかっているかもしれない。音声機能を構築するソフトウェアチーム、そして適切なタイミングで答える必要があるAIキャラクターを作る人々が、違いを実感する立場にある。