NVIDIA、ローカル実行のAIモデル発表

NVIDIAのこのアプローチは、小型モデルの通常の作り方を逆転させている。コンパクトなモデルを一から学習させるのではなく、はるかに大規模なNemotron 3.5 Super VLから出発し、構造化圧縮技術を適用して縮小した後、ネットワークを2ビットに量子化した。NVIDIAによると、同じサイズのモデルを一から学習させて4ビットに量子化した場合より性能が高く、この傾向は同サイズのモデル全般に当てはまるという。

圧縮にはStar Elasticと呼ぶ手法を用い、総パラメータ1200億・アクティブ120億の親モデルを総740億・アクティブ90億に削減した。追加のポストトレーニングで能力を可能な限り引き上げた。積極的な量子化後も精度を保つため、量子化を織り込んで教師モデルから学ぶ量子化対応蒸留を採用。推論時にはLiLiCorrと呼ぶ候補モデルによる投機的デコードを使い、DSparkやDFlash2といった類似手法より候補の受理率が向上し遅延が減るとNVIDIAは説明する。

同社はこのモデルをRTX Sparkハードウェア上のローカルエージェントタスク向けに位置づけ、実務作業やコマンドライン操作、銀行の顧客対応、コーディングなど幅広いベンチマークを用意している。NVIDIAのRTX Spark公式アカウントは、他のアプリと並行して動作し知能と速度のバランスを取る点に触れ、強力なローカルエージェントを身近にするリリースだと位置づけた。