NVIDIA MPSでASRのGPU需要を75%削減、AWSで実現

何が起きたか

AWS、NVIDIA、Heidi Healthが、自動音声認識（ASR）推論のGPUインフラを75%削減するソリューションを公開。Amazon EC2上でNVIDIA CUDA Multi-Process Service（MPS）とTriton Inference Serverを組み合わせ、GPUインスタンスを16から4に削減した。

なぜ重要か

通常、ASRリクエスト1件が使うGPUコンピューティング容量は15〜20%に過ぎず、デフォルトのタイムスライシングでは最大80%がアイドル状態になる。このソリューションではGPUを並列実行のインスタンスに分割し、1GPUあたり毎秒92.1リクエスト（RPS）を維持しつつ、サブ秒レベルのレイテンシを実現。高スループットの音声サービスの運用コスト削減につながる。国内の音声認識サービスを運用する企業は、GPUリソースの効率化により運用コストを抑えられる可能性がある。

注目点

ソリューションはAmazon EC2のg6e.4xlargeおよびg7e.4xlargeインスタンス（NVIDIA L40S、48GB）で実装され、CUDA 12.x対応のNVIDIAドライバ535以上が必要。コードはオープンソースリポジトリで公開されており、3つのコマンドで導入できる。