Apple、4ステップで画像生成する新モデル発表

拡散ベースのモデルは通常、サンプリングを多数の小さなガウス的ノイズ除去ステップに分解するが、生成を少数の粗い遷移に圧縮するとこの仮定は成り立たなくなる。既存の少数ステップ手法は蒸留、一貫性学習、敵対的目的関数で対処するが、その過程で尤度の枠組みを犠牲にする。NTMは各逆ステップを、正確な尤度で学習する表現力豊かな条件付き正規化フローとしてモデル化する。

アーキテクチャ上、NTMは各ステップ内の浅い可逆ブロックと、軌跡全体にわたる深い並列予測器を組み合わせ、エンドツーエンドのネットワークを形成する。軌跡の正確な尤度により自己蒸留が可能になり、モデル自体が誘導するスコア関数で学習した軽量デノイザーが4ステップで高品質なサンプルを生成する。