AIToday
大規模言語モデル音声・スピーチAmazon AI Blog掲載日時: 2026年10月23日 4:00

音声エージェントの初回音声遅延を52.4%改善

LINEで送る
音声エージェントの初回音声遅延を52.4%改善

3つのポイント

  1. 何が起きたか

    AWSはエージェントの文生成ごとにAmazon SageMaker AI上のKokoro-82M TTSモデルへストリーミングし、初回音声は329.3 msから156.7 msへ52.4%改善した。

  2. なぜ重要か

    応答の完成を待たず最初の文から合成を始めれば、通話者は長い複数段落の回答が終わるまで音声を待たずに済む。投稿はこれをユーザーの不満の源と位置づけている。

誰に効くかすでにServer-Sent Eventsでテキストをストリーミングしている音声エージェントやチャットフロントエンドを手がけるチームが最も恩恵を受ける。このパターンにより、完全な応答が生成される前に音声再生を開始できるからだ。

わからないところ、AIに聞けます

質問と回答はこのページに公開されます。

こういう要約が、毎朝あなたのメールに届きます。

背景と解説

投稿はこの問題を、エージェントが回答を持っている時点と通話者がそれを聞く時点の間のギャップとして位置づけている。1文の応答なら600ミリ秒で生成できるかもしれないが、完全な応答には5秒かかり、従来の統合ではそのすべてを待ってから合成を始める。提案される修正は、エージェントが文を生成した瞬間に、その文をAmazon SageMaker AI上のホスト型Kokoro-82M TTSモデルへストリーミングすることだ。

アーキテクチャはSageMaker AIのリアルタイムエンドポイント上のカスタムコンテナに依存し、2つのルートを公開する。完全な入力を1つ受け取るPOST /invocationsと、多数のメッセージにわたって接続を開いたままにするWS /invocations-bidirectional-streamである。投稿は、すべてのメッセージがバイナリWebSocketフレームとして届くため、テキストを想定したハンドラはすべてのリクエストで失敗すると強調し、メッセージ間ではセッションを開いたままにし、明示的なクローズメッセージでのみ閉じることを推奨している。

戻り経路では、SSEイベント内のbase64エンコード音声と、同じ双方向セッション上で生のバイナリ音声とJSON制御フレームを多重化する方式を比較している。統合方式は約33%のペイロード膨張と、SSEが必要とするフレーム再調整のバッファリングを避けられる。ただし投稿は、マネージドランタイムがJSONシリアライズ可能な辞書しか受け付けないため、エージェントから通話者への区間は依然としてbase64を使うと注記している。

よくある質問
このソリューションはテキスト読み上げにどのモデルを使うのか?
Kokoro-82Mを使用する。8200万パラメータのTTSモデルで、AWSによれば単一の中位GPUインスタンス(ここではml.g5.xlarge)で安価に動かせるほど小さい。
SSE上の音声ペイロードはbase64エンコードでどれだけ膨らむのか?
base64はすべてのペイロードを約33%膨張させる。ある測定済みの応答では、論理的なMP3フレーム4つが6つの配信チャンクとして届き、うち2つはフレームの途中で終わっていた。
ベンチマークにおけるbidiモードとバッチモードの違いは何か?
bidiモードは各文が生成されるたびに合成を開始し、バッチモードは完全な応答を待ってから1回の合成呼び出しを行う。変わるのは合成を始めるタイミングだけである。
Amazon AI Blog元記事を読む
LINEで送る

あなたの仕事に関係するAIニュースを、毎朝お届けします。

業界と使っているAIツールを選ぶと、仕事に関係するニュースが毎朝届きます。

登録無料・Googleアカウントなら30秒・いつでも解除できますAITodayについて →

AIに質問

この記事についてわからないことをAIに質問できます。AIはこの記事・AIToday の過去記事・Wikipedia を読み、出典を付けて答えます。Q&Aはこのページに公開され、他の読者も読めます。

質問と回答はこのページに公開されます。

このようなAIの動きを、御社の業界・競合に合わせて毎日届ける法人プランもあります → 詳しく見る

関連記事

Google DeepMindがロボットAI新モデル発表

Google DeepMindは視覚言語行動モデル「Gemini Robotics 2.5」を発表した

NEWRobotics & Automation News1時間前

Folkbench、時事と指紋でAPI中継のモデル劣化検知

Folkbenchは、静的キャッシュが効きにくい時事プローブと、一致率・入力トークン・思考トークン・指紋・キャッシュ状態を記録するモデル指紋プローブを組み合わせ、公式直結キーと比較する手法を発表した

NEWZenn AI/ML1時間前

opencodex、Qwen2.5-32Bで3形式のAPI変換を検証

Zennの執筆者が、Anthropic Messages・OpenAI Chat Completions・OpenAI Responsesの各APIを相互変換するローカルゲートウェイopencodex 2.100.2を…

NEWZenn AI/ML1時間前

子AIへの仕事任せ、確認項目18/24に改善

サブエージェント間で34ファイルを置き換える試行で、delegating-work Skillを与えられたエージェントは24項目中18項目を満たし、なしでは3項目だった

NEWZenn AI/ML1時間前

Microsoftが17日からIgnite

Microsoftは11月17日から20日までサンフランシスコでIgniteを開催し、CEOのSatya Nadella氏が基調講演を行う

NEWYahoo Finance AI4時間前

Google、Gemini 4 Hydrogenを発表

11月12日、Googleは日常的なコーディングと多段階のエージェントタスク向けにGemini 4 Hydrogenを発表し、GeminiアプリとGoogle検索での展開を開始した

NEWAI Weekly4時間前
次の記事へRecursiveがFlintを公開