拡散モデル、復元に見えて生成できる理由を解説

この解説は、拡散モデルをシリーズ既存の作例と同じ系譜に位置づける。超解像と顔復元は1パスで生成するGANを使ったがモード崩壊を起こしうる。物体消去は専用の穴埋めモデルLaMaを使った。拡散はGANと逆のアプローチをとり、ノイズを段階的に除去することで速度を安定性・品質・多様性と引き換えにする。著者はこれが画像生成で拡散が支配的になった理由だと指摘する。

著者が引く重要な区別は、復元と生成が同じ繰り返しのノイズ除去を行いつつ出発点と条件が異なる点だ。復元は元画像へ向かうため、劣化入力に条件付けられた生成の一種となる。一方テキストto画像はランダムノイズから始まりプロンプトに従う。この共通の枠組みにより、同じ仕組みで超解像・インペインティング・text2imgを扱える。著者はControlNetを次の題材になりそうだと述べている。

実用面では、Latent Diffusionが画像を潜在空間に圧縮して計算量を減らし、コンシューマーGPUで動く程度にした。Classifier-Free Guidanceはプロンプトへの追従性を高めるが、強めすぎると不自然な結果になる。著者はエンジンと製品も区別し、Stable Diffusion 3とFluxはFlow Matchingを用いたDiTを使うこと、DALL·E 1は拡散ではなく自己回帰だったこと、MidjourneyとFireflyは拡散ベースと推測されるが非公開であることを挙げている。