DeepgramがNova-3をTrainium2へ移植

Deepgramのモデルは年間数京規模の音声トークンを、20万人超の開発者と1,400組織のために処理しており、配信効率がそのまま、一定のインフラ予算で扱える音声量を決める。大容量のバッチワークロードはこの予算に重い負荷をかけるため、推論効率は当然の改善対象となる。移植作業はNova-3を標準的なPyTorchコードとして出発点にし、AWS Neuronスタックを通じてAWS Trainium2へ移行。公開NKIライブラリによるレイヤー単位のカーネル置き換えと、バッチサイズ32超を可能にする手書きのconv2dカーネルを採用した。データ並列のRustランタイムは配信経路からPythonとPyTorchを排除し、参照トークン列を正確に再現しつつスループットを改善した。単一のtrn2.3xlargeインスタンスで測定された価格性能の向上は、AWS TrainiumがDeepgramの推論ワークロードにとって有力な選択肢であることを裏付けており、その利点はAmazon SageMaker AI上のセルフホスト導入にも及ぶ可能性がある。