Google DeepMindのビデオ生成モデルが少量データで視覚認識タスク解決

コンピュータビジョンは歴史的にセグメンテーション、奥行き推定、表面法線、姿勢認識など、各タスク用の専門特化型モデルに細分化されてきた。各アーキテクチャは狭い領域に最適化されている。一方、言語処理分野は統一された訓練シグナルを持ち、それが大規模言語モデルの汎用性を生み出した。次の単語を予測することが、文法、世界知識、関係性を吸収する強力な汎用目的として機能することが判明した。GenCception はビデオ生成が視覚領域でも同様の役割を果たす可能性を示唆している。現実的なビデオ生成には、空間幾何、物体の運動、基本的な物理の学習が必要である。こうした表現はビデオ合成をはるかに超えて有用であることが判明した。アリババのオープンソース Wan2.1 モデルを基盤とし、そのアーキテクチャを簡素化（反復拡散プロセスを単一フォワードパスに置き換え）することで、研究者たちはこれらの学習特性が、はるかに多くのラベル付きデータで学習した専門特化型システムを上回ることができることを実証した。テキストプロンプトを用いてどのタスクを実行するかを指定し、統一された出力表現（すべての結果を標準3チャネル RGB 画像として表現）を採用する手法は、大規模言語モデルの指示追従パラダイムをさらに反映している。

ただし、ビデオ生成器が真のワールドモデルを含むという主張は依然として異論がある。国際研究チームがワールドモデルの正式な定義を提案し、テキスト・ツー・ビデオモデルを明示的に除外した。実世界からのフィードバックが欠落していることを理由とした。元Meta最高AI科学者 Yann LeCun は、ピクセル予測型ビデオモデルは根本的に制限されていると主張している。清華大学のベンチマークは、Sora 2、Seedance 2.0、Veo 3.1 が基本的な物理および論理テストで繰り返し失敗したことを示した。視覚的には説得力のある出力であっても同様である。GenCception はこの議論を迂回している。ビデオ生成を、モデルが世界の動作を予測することを求めるのではなく、特定のタスク用の学習特性抽出という狭い目的で使用している。結果として、明示的な物理理解がなくても、ビデオ生成時に学習された表現には十分な空間・運動情報が含まれており、従来のアプローチよりも効率的に密な予測タスクを解決できることが示された。