Amazon SageMakerとvLLMが、音声ストリーミングに対応したリアルタイム音声アプリケーションの構築を実現

音声エージェント、ライブキャプショニング、コンタクトセンター分析、アクセシビリティツールは、リアルタイム音声テキスト変換に依存している。従来のリクエスト・レスポンス型推論（AIが完全な入力を受け取った後に答えを導き出す方式）では、オーディオ全体が受信されるまで文字起こしが開始されず、レイテンシが増加する。

リアルタイム音声テキスト変換では、アプリケーションが音声をストリーミングして、単一の持続的接続を通じて同時に文字起こしを受け取る必要がある。