AssemblyAI、音声認識の推論コスト7割削減

AssemblyAIの音声認識パイプラインはNVIDIA GPU上で一連の深層学習モデルを実行しており、大規模になれば数千台のGPUインスタンスを継続稼働させることになる。すべてをオンデマンドインスタンスで動かすとコストが膨大になるため、同社はSpotとオンデマンドのキャパシティを混在させるキャパシティプロバイダーを備えたAmazon ECS上に推論基盤を構築した。Spotインスタンスは大幅なコスト削減をもたらす一方、2分前の警告付きで回収されることがあるため、AssemblyAIはAmazon SQSを使ったキュー経由の再試行の仕組みを追加した。

このアーキテクチャは需要をg4dn・g5・g6という3つのGPUインスタンスファミリーと複数のアベイラビリティーゾーンに分散させ、より大きなSpotキャパシティのプールから調達する。中断が起きると、EventBridgeで起動されたLambda関数が処理中のジョブをメインのSQSキューに戻し、別のECSタスクが処理できるようにする。AssemblyAIはモデルアーティファクトとコンテナイメージを含むカスタムAmazonマシンイメージも使い、復旧時間を約2分に短縮している。エンドユーザーにとって中断の影響は処理時間がわずかに増えるだけだが、文字起こしは問題なく完了する。

同社は米国西部（オレゴン）と欧州（ロンドン）でアーキテクチャの完全に独立したコピーを運用し、音声データを特定の地理的境界内に留める必要がある医療・金融・法務など規制産業の顧客を支援している。AssemblyAIのSpeech-to-Text APIはAWS Marketplaceで提供されている。