Apple、厳密な尤度保つ画像生成モデルNTMを発表

拡散ベースのモデルは生成を多数の小さなガウス的ノイズ除去ステップに分割するが、生成が少数の粗い遷移に圧縮されるとこの仮定は弱まる。蒸留や一貫性学習、敵対的目的といった既存の少ステップ手法はこの圧縮に対処するが、その過程で尤度の枠組みを放棄する。

NTMは各逆ステップを表現力豊かな条件付きノーマライジングフローとしてモデル化し、厳密な尤度で学習することで、その尤度の枠組みを維持する。アーキテクチャ上、各ステップ内の浅い可逆ブロックと軌道全体にわたる深い並列予測器を組み合わせるため、ネットワーク全体をゼロからエンドツーエンドで学習でき、事前学習済みフローマッチングモデルから初期化することもできる。

軌道の厳密な尤度は自己蒸留への道も開く。モデル自体が導出するスコア関数で軽量なノイズ除去器を学習させる手法だ。著者によれば、これにより4ステップで高品質なサンプルが生成され、テキストから画像へのベンチマークではそのステップ数でNTMが強力な画像生成ベースラインに匹敵するか上回る。