NVIDIAのマルチモーダルモデル、AWSで提供開始

Nemotron 3.5 Super VLは、より大型のNemotron 3 Ultraから蒸留されたモデルで、すでにAWSで提供されているモデル群に加わる。クローズドなAPIとは異なり、NVIDIAはモデルの重み、学習データセット、事後学習のレシピを公開しているため、チームは特定ドメインのワークロード向けにファインチューニングし、自社インフラで実行できる。

アーキテクチャは、長いコンテキストの推論を手頃なコストに保つよう設計されている。MambaとTransformerを組み合わせたMoE設計を採用し、120Bのパラメーターのうち12Bをトークンごとに活性化するため、全体の重みをGPUメモリに収める必要はあるものの、トークンあたりの計算量は低く抑えられる。Mamba-2層は生成中に一定サイズの状態を保持し、長いコンテキストを通常は高コストにするメモリ増加を避ける。

NVIDIAはp6-b200.48xlargeとp5en.48xlargeインスタンスで導入を検証し、集約型と分離型の導入でトークン間レイテンシーが同程度である一方、分離型構成では最初のトークンまでの時間が短くなるという性能データを公開した。こうしたデータは、サービスレベル目標に基づく容量計画に役立つ。