Apple研究所、STARFlow2発表

本研究はAIにおける根本的な構造的問題、つまりテキストと画像の両方を扱うモデルがしばしば異なる技術の寄せ集めである点に取り組んでいる。一部は視覚的詳細を失う離散トークン化に依存し、他は因果的テキストモデルと別個の拡散ベース画像生成器を組み合わせて、非対称で複雑なシステムを作り出している。Appleチームは、自己回帰正規化フローがLLMと因果マスクやKVキャッシュなどの基本的メカニズムを共有しているという観察に基づき、統合アーキテクチャへのより自然な道筋を示唆している。

Pretzelアーキテクチャを基盤に、凍結済みの事前学習済み視覚言語モデルとフローベースのストリームを統合することで、STARFlow2はVLMの深い理解と連続フローの高忠実度生成という両方の利点を得ようとしている。統一FAE潜在空間も重要な構成要素であり、テキストと視覚出力の両方を同じ方法で処理してKVキャッシュに直接入れることを可能にしている。この設計は、視覚情報を別のメカニズムで再エンコードする必要をなくし、モデルをより効率的にすることを意図している可能性が高い。

論文では画像生成とマルチモーダル理解の両方のベンチマークで強い性能が報告されている。自己回帰フローがこの種の統合モデリングの実行可能な基盤として機能するという初期の証拠を提供し、将来の研究をより複雑なハイブリッドシステムから、単一のエレガントな因果メカニズムへと向かわせる可能性がある点で、この結果は重要である。