NVIDIA、1200億パラメーターのオープンAI公開

NVIDIAはNemotron 3.5 Super VLを、複数の情報を組み合わせるAIエージェント向けのモデルと位置づける。Mixture of Experts（タスクごとにモデルの一部だけを有効にする設計）により、1200億のうち有効なパラメーター数を120億に抑え、これが単一GPUでエージェントのワークロードを動かすというNVIDIAのスループット主張を支えている。NVIDIAによると、NVIDIA B200 GPU 4基で1万件のソフトウェア開発タスクを約10時間で完了し、精度は約51％で、同規模のモデルより最大4倍速い。

速度だけでなく、今回の公開は微調整を軸にする。NVIDIA NeMoを使えば顧客はモデルを自社の文書やプロセスに適応でき、NVIDIAが挙げる例はその構成によるものだ。Scale AIがSkydance Corporation向けに手がけた未払い請求書と返金書類、Rampの領収書抽出、AI21とAliceのサイバーセキュリティ脅威分析である。いずれも既製品ではなく、あつらえた導入として位置づけられている。

運用コストを狙った技術も支える。テキスト生成を先読みするLiLiCorrは、NVIDIAの小型AIコンピューターDGX Sparkで生成を最大2.3倍速くするとされる。エージェントが同じ指示や会話履歴を読み直す際には以前の計算を再利用できる。多数の同時利用者にはNVIDIA Dynamoが処理の振り分けに提供され、NVIDIA B200 GPU 16基でのテストでは1人あたりの生成速度を同じに保ったまま最大8倍のユーザーを支え、最初の回答までの時間を85％短縮したと報告されている。