音声エージェントの初回音声遅延を52.4%改善

投稿はこの問題を、エージェントが回答を持っている時点と通話者がそれを聞く時点の間のギャップとして位置づけている。1文の応答なら600ミリ秒で生成できるかもしれないが、完全な応答には5秒かかり、従来の統合ではそのすべてを待ってから合成を始める。提案される修正は、エージェントが文を生成した瞬間に、その文をAmazon SageMaker AI上のホスト型Kokoro-82M TTSモデルへストリーミングすることだ。

アーキテクチャはSageMaker AIのリアルタイムエンドポイント上のカスタムコンテナに依存し、2つのルートを公開する。完全な入力を1つ受け取るPOST /invocationsと、多数のメッセージにわたって接続を開いたままにするWS /invocations-bidirectional-streamである。投稿は、すべてのメッセージがバイナリWebSocketフレームとして届くため、テキストを想定したハンドラはすべてのリクエストで失敗すると強調し、メッセージ間ではセッションを開いたままにし、明示的なクローズメッセージでのみ閉じることを推奨している。

戻り経路では、SSEイベント内のbase64エンコード音声と、同じ双方向セッション上で生のバイナリ音声とJSON制御フレームを多重化する方式を比較している。統合方式は約33%のペイロード膨張と、SSEが必要とするフレーム再調整のバッファリングを避けられる。ただし投稿は、マネージドランタイムがJSONシリアライズ可能な辞書しか受け付けないため、エージェントから通話者への区間は依然としてbase64を使うと注記している。