Apple、3モーダル拡散モデルを事前学習

拡散モデルは主に画像のような連続データに使われてきたが、近年、離散拡散モデルが自己回帰言語モデルの強力な代替として台頭している。従来の研究では通常、単一モーダルの基盤モデルを初期化してファインチューニングし、二モーダル生成を行っていた。今回の研究はこのパターンから脱し、テキスト・画像テキスト・音声テキストのデータで三者モーダルMasked Diffusion Modelをゼロから事前学習している。

研究者らは学習に関する実践的な知見も提供している。バッチサイズ分析では確率微分方程式（SDE）に基づく再パラメータ化を提案し、これによりGPU飽和や実時間などの計算制約に基づいて選ばれる物理バッチサイズと、確率的最適化中の勾配の分散を均衡させるために選ばれる論理バッチサイズを切り離している。

この研究はこれまで行われたマルチモーダル離散拡散モデルに関する最大規模の系統的なオープン研究と位置づけられ、著者らは複数モダリティにわたるスケーリング挙動への貴重な知見を提供すると述べている。予備モデルは3Bモデル規模・6.4Tトークンで統合設計の能力を示している。