NVIDIA と Hugging Face、動画・画像拡散モデルの大規模ファインチューニングを実現

この統合は拡散モデル学習における長年の課題に対処している。研究から本番運用へのスケーリングには、メモリ効率的な技術（FSDP2、テンソル並列、マルチレゾリューション バケッティング、潜在キャッシング）が必要だったが、それらは従来、独自スクリプトに分散していたか全く利用できなかった。これらの機能を NeMo Automodel に組み込み、オープンソース拡散モデルの事実上の標準インターフェースである Diffusers とリンクさせることで、NVIDIA と Hugging Face は領域特化化への障壁を低くした。研究者は FLUX.1-dev（12B）や HunyuanVideo（13B）のようなモデルを LoRA を使って単一ノードで、または完全ファインチューニングで大規模クラスタで、モデル書き換えなしにファインチューニングできるようになった。実演例（78 枚の Rider–Waite タロットデータセットで FLUX.1-dev をファインチューニング）は、小規模データセットでも学習スタイルを獲得できることを示している。ファインチューニング後モデルの生成画像は、学習済みトリガートークンでプロンプトされると、クリーム色、赤、黒のヴィンテージパレット、インク輪郭、寓意的なカード構成を示し、ベースモデルは写真的なままである。レシピスタック（FSDP2、チェックポイント処理、生成）が変わらずに実行されるため、新しい拡散モデルを NeMo Automodel に組み込むには、完全な独自学習スクリプトではなく、データ前処理ハンドラとモデルアダプタのみが必要である。この設計選択により、新しい拡散モデルの急速なリリースサイクルに対応することが実用的になった。