NVIDIA と Hugging Face、動画・画像拡散モデルの大規模ファインチューニングを実現

NVIDIA と Hugging Face が、Hugging Face Hub 上の任意の Diffusers 形式モデルに本番レベルの分散拡散学習をもたらすコラボレーションを発表した。中核は NVIDIA の NeMo Automodel で、これは PyTorch DTensor ネイティブの学習ライブラリであり、2 つの原則を中心に設計されている：Hugging Face ネイティブ統合（ユーザーが pretrained_model_name_or_path を任意の Diffusers モデル ID に指定して学習開始）と一つのプログラムで任意スケール学習（並列処理が設定選択であって、コード書き換えではない）。

NeMo Automodel は現在、フローマッチングモデルのみ対応し、フローマッチングを学習目的として、事前エンコード VAE 出力を経由した潜在空間学習とマルチレゾリューション バケッティングデータローダでスループットを加速する。この統合は FLUX.1-dev、Qwen-Image、Wan 2.1、Wan 2.2、HunyuanVideo 向けにすぐに使えるファインチューニングレシピを搭載している。実用的な利点としては、チェックポイント変換がない（事前学習済み重みがそのまま機能）、新モデル対応への高速パス（Diffusers の新しい拡散モデルは NeMo Automodel で小さく限定的なコード追加で有効化）、完全およびパラメータ効率的ファインチューニング（完全ファインチューニングと LoRA の両方対応）がある。システムはまた FSDP2、テンソル、コンテキスト、パイプライン並列といったシャーディングスキーム、SLURM 経由のマルチノード オーケストレーション（Kubernetes 今後対応予定）、マルチレゾリューション バケッティングも提供する。

典型的なワークフローは 3 つのステップからなる：データセット事前エンコード（Hugging Face からストリーミング画像を読み込み GPU 間で前処理を分散してキャッシュ VAE 潜在および テキスト埋め込みを生成）、既存 YAML 設定とコマンドライン引数で学習開始（新しい設定ファイル不要）、ファインチューニング済みチェックポイントから生成。実演例は 78 枚の Rider–Waite タロットデータセットで FLUX.1-dev をファインチューニングしている。8 個の NVIDIA H100 80GB GPU で 200 オプティマイザステップ後、トリガー宇宙飛行士プロンプト（学習済み「trtcrd」トリガートークン使用）はクリーム、赤、黒のヴィンテージパレット、太いインク輪郭、フラット色域、古紙調、寓意的なカード構成を獲得し、トリガーなし宇宙飛行士は写真的なままであり、学習効果がトリガートークンと実質的に関連付けられ、ベースモデルをグローバルに置き換えないことを実証している。

8 個の NVIDIA H100 80GB GPU を備えた 1 ノード上で収集されたパフォーマンス測定では、FLUX.1-dev 完全ファインチューニング（512×512 画像）はステップ時間 0.902 ± 0.039 秒で 35.51 ± 1.55 画像/秒を達成し、r64 LoRA は 0.894 ± 0.008 秒で 53.73 ± 0.48 画像/秒を達成する。Qwen-Image 完全ファインチューニングは 0.974 ± 0.075 秒ステップ時間で 41.21 ± 3.06 画像/秒に達する。動画（512×512×49 フレーム）では、Wan 2.1 14B 完全ファインチューニングが 3.798 ± 0.017 秒ステップ時間で 2.107 ± 0.006 クリップ/秒に到達し、LoRA は 7.585 ± 0.014 秒で 2.110 ± 0.000 クリップ/秒を達成する。HunyuanVideo 1.5 完全ファインチューニングは 5.926 ± 0.046 秒ステップ時間で 1.350 ± 0.010 クリップ/秒を達成し、LoRA は 5.575 ± 0.006 秒で 1.433 ± 0.006 クリップ/秒に到達する。この統合は Apache 2.0 のもとで完全にオープンソースで、Docker コンテナ、pip3、GitHub からのソースインストールで利用可能である；統合は Diffusers 学習ガイドに記載されている。コラボレーションはまた近い将来に Python ライクなレシピ API をリリースする予定である。

この統合は拡散モデル学習における長年の課題に対処している。研究から本番運用へのスケーリングには、メモリ効率的な技術（FSDP2、テンソル並列、マルチレゾリューション バケッティング、潜在キャッシング）が必要だったが、それらは従来、独自スクリプトに分散していたか全く利用できなかった。これらの機能を NeMo Automodel に組み込み、オープンソース拡散モデルの事実上の標準インターフェースである Diffusers とリンクさせることで、NVIDIA と Hugging Face は領域特化化への障壁を低くした。研究者は FLUX.1-dev（12B）や HunyuanVideo（13B）のようなモデルを LoRA を使って単一ノードで、または完全ファインチューニングで大規模クラスタで、モデル書き換えなしにファインチューニングできるようになった。実演例（78 枚の Rider–Waite タロットデータセットで FLUX.1-dev をファインチューニング）は、小規模データセットでも学習スタイルを獲得できることを示している。ファインチューニング後モデルの生成画像は、学習済みトリガートークンでプロンプトされると、クリーム色、赤、黒のヴィンテージパレット、インク輪郭、寓意的なカード構成を示し、ベースモデルは写真的なままである。レシピスタック（FSDP2、チェックポイント処理、生成）が変わらずに実行されるため、新しい拡散モデルを NeMo Automodel に組み込むには、完全な独自学習スクリプトではなく、データ前処理ハンドラとモデルアダプタのみが必要である。この設計選択により、新しい拡散モデルの急速なリリースサイクルに対応することが実用的になった。

まだコメントがありません。最初のコメントを投稿しましょう！