画像生成のテキスト誘導は3段階と解説

この解説は、テキスト→画像を「テキスト条件＋CFG」と一行で説明した以前の拡散モデル入門の続編として書かれ、その箱の中身を開くものだ。中心にあるのは理解と描画の分業である。約4億の画像テキストペアで対照学習したCLIPのエンコーダは画像に根ざすが言語としては浅く、双方向エンコーダのT5は画像を一切見ない純粋な言語モデルだ。SD3/Fluxは両方——CLIP×2にT5-XXL——を使い、互いの弱点を補う。

記事はデノイザーの進化をたどる。Transformerブロックを挿入したCNNベースのU-Netから、テキストと画像のトークンを単一のattentionで結合するDiTやMMDiTへ。

最終段階ではCFGを特定の課題への答えとして位置づける。単純な条件付き拡散はプロンプトへの追従が弱い。別途分類器の訓練を要しクラスラベルに限られるclassifier guidanceと違い、CFGは訓練時に条件を落として1つのネットワークに条件付き・無条件の両予測を担わせ、生成時にその差を増幅する。ネガティブプロンプトは同じ無条件の枠を占め、避けたい語から遠ざける。