AIToday
画像生成動画生成オープンソースAIHugging Face Blog掲載日時: 2026年7月18日 1:004分で読める

NVIDIA と Hugging Face、動画・画像拡散モデルの大規模ファインチューニングを実現

LINEで送る

要点

  • NVIDIA と Hugging Face が NeMo Automodel 学習ライブラリを Diffusers エコシステムに統合し、研究者や開発者が FLUX.1-dev、Wan 2.1、HunyuanVideo といった大規模拡散モデルをチェックポイント変換や独自コード書き換えなしでスケール学習することが実用的になった。

  • この協業では、NVIDIA の分散学習機能(シャーディング、潜在キャッシング、マルチレゾリューション バケッティング、並列処理オプション)と Hugging Face のモデルハブが統合され、ユーザーはハブ上の任意の Diffusers モデルを指定して既存の YAML 設定とコマンドライン引数で学習を開始できる。

3つのポイント

  1. 何が起きたか

    NVIDIA と Hugging Face は、NVIDIA の NeMo Automodel ライブラリと Hugging Face の Diffusers を統合し、FLUX.1-dev、Wan 2.1、HunyuanVideo などの拡散モデルを Hugging Face Hub から直接、チェックポイント変換やモデル書き換えなしで本番レベルの分散学習を可能にすると発表した。

  2. なぜ重要か

    この統合により、大規模な画像・動画モデルをファインチューニングまたは一から学習させたい研究者や開発者の技術的障壁が取り除かれる。従来はスケーリング学習に独自スクリプトと複雑な変換が必要だったが、今は単一の YAML 設定とコマンドライン引数で済み、並列処理(FSDP2、テンソル、パイプライン、コンテキスト並列)がコード書き換えではなく設定選択となった。

  3. 注目点

    このライブラリは完全ファインチューニングと LoRA スタイルのパラメータ効率的学習の両方に対応し、8 個の NVIDIA H100 GPU で性能を測定している。例えば FLUX.1-dev 完全ファインチューニングは 512×512 で 35.51 ± 1.55 画像/秒を達成し、LoRA では 53.73 ± 0.48 画像/秒となる;HunyuanVideo 1.5 LoRA は動画(512×512×49 フレーム)で 1.433 ± 0.006 クリップ/秒に到達する。この統合は Apache 2.0 のオープンソースで、Diffusers 学習ガイドに記載されている。

この記事についてAIに質問する →

背景と解説

この統合は拡散モデル学習における長年の課題に対処している。研究から本番運用へのスケーリングには、メモリ効率的な技術(FSDP2、テンソル並列、マルチレゾリューション バケッティング、潜在キャッシング)が必要だったが、それらは従来、独自スクリプトに分散していたか全く利用できなかった。これらの機能を NeMo Automodel に組み込み、オープンソース拡散モデルの事実上の標準インターフェースである Diffusers とリンクさせることで、NVIDIA と Hugging Face は領域特化化への障壁を低くした。研究者は FLUX.1-dev(12B)や HunyuanVideo(13B)のようなモデルを LoRA を使って単一ノードで、または完全ファインチューニングで大規模クラスタで、モデル書き換えなしにファインチューニングできるようになった。実演例(78 枚の Rider–Waite タロットデータセットで FLUX.1-dev をファインチューニング)は、小規模データセットでも学習スタイルを獲得できることを示している。ファインチューニング後モデルの生成画像は、学習済みトリガートークンでプロンプトされると、クリーム色、赤、黒のヴィンテージパレット、インク輪郭、寓意的なカード構成を示し、ベースモデルは写真的なままである。レシピスタック(FSDP2、チェックポイント処理、生成)が変わらずに実行されるため、新しい拡散モデルを NeMo Automodel に組み込むには、完全な独自学習スクリプトではなく、データ前処理ハンドラとモデルアダプタのみが必要である。この設計選択により、新しい拡散モデルの急速なリリースサイクルに対応することが実用的になった。

よくある質問

NeMo Automodel でファインチューニングできるモデルは何か?
NeMo Automodel は現在、FLUX.1-dev、Qwen-Image、Wan 2.1、Wan 2.2、HunyuanVideo を含むフローマッチングモデルに対応している。すぐに使えるファインチューニングレシピは examples/diffusion/finetune フォルダに用意されている。
これを使うためにチェックポイントを変換する必要があるか?
いいえ。Hugging Face Hub の事前学習済み重みはそのまま機能する。ファインチューニング済みチェックポイントは DiffusionPipeline に直接ロードして推論に使うか、ハブに共有できる。別の学習形式への変換は不要である。
利用可能な並列処理オプションは何か?
FSDP2、テンソル並列、エキスパート並列、コンテキスト並列、パイプライン並列の間で、モデルコードを書き換えずに設定を宣言することで切り替えられる。
Hugging Face Blog元記事を読む
LINEで送る

「画像生成」の最新ニュースを、毎朝7時にお届けします

たとえば、いま届くならこの3本です

  • ディズニーコンセプトアート競売で343万ドルTop Companies AI · 1日前
  • ESP32-P4がAIで水道メーターを読み取るr/robotics · 2日前
  • 小型AI画像生成モデルがマイコンで稼働r/MachineLearning · 2日前

AIが要約して、あなたの選んだトピックだけを1日1通。LINE・Email・Slackで届きます。

登録無料・30秒で完了・いつでも解除できますAITodayについて →

AIに質問

この記事についてわからないことをAIに質問できます。Q&Aはこのページに公開され、他の読者も読めます。

関連記事

次の記事へPatreon、CloudflareでAI学習ボット遮断