Google DeepMindのビデオ生成モデルが少量データで視覚認識タスク解決

Google DeepMind の研究者らは GenCception を発表した。事前学習済みのビデオ生成システムを流用し、奥行き推定、表面法線予測、セグメンテーション、3次元姿勢認識などの古典的なコンピュータビジョンタスクに対応させるモデルである。核となるイノベーションはアーキテクチャの簡素化である。拡散モデルは通常、ノイズから出発する多くの小さな反復ステップを通じてビデオを生成するが、GenCception はすべての出力を単一フォワードパスで生成し、速度を劇的に向上させながら精度を保持している。

このモデルはアリババのオープンソース Wan2.1 ビデオジェネレータを基盤とし、テキストプロンプト経由でタスク指示を受け入れるよう適応させている。チャットボットが自然言語コマンドに応答する方法に類似している。各ビジョンタスク用に個別の専門特化型アーキテクチャを作成するのではなく、すべての出力を標準3チャネル RGB 画像として表現している。奥行きマップと表面法線はカラー画像としてエンコードされ、セグメンテーションマスクは画像のような表現、カメラ運動は画像として表現される。3次元キーポイント座標など、画像に自然にマッピングされない出力については、訓練可能なモジュールが追加される。単一の損失関数がすべてのタスク間で同時に訓練され、タスク固有の要件はネットワーク再設計ではなくトレーニングデータの前処理で処理される。

トレーニングデータはほぼすべて合成であり、わずか7,500本のビデオのみで構成されていた。研究チームは800個のデジタルヒューマンモデルと200個のモーションキャプチャシーケンスを組み合わせ、Blender でさまざまな背景とカメラアングルでレンダリングすることでこれらを合成した。言語ガイドセグメンテーションのみが実ビデオから引き出された。この最小限で人工的なトレーニングセットにもかかわらず、GenCception は複数のベンチマーク全体で最先端の結果と同等かそれ以上を達成した。その奥行き推定は DepthAnything 3 と同等であり、表面法線推定で NormalCrafter と Lotus-2 を上回り、3次元姿勢認識で Genmo と TRAM を上回り、複雑な言語ガイドセグメンテーションで Meta の SAM 3 と Gemini 3.5 Flash の組み合わせと同等である。D4RT や VGGT Omega などの他のモデルは数百万本のビデオで学習した。GenCception は7～500倍少ないデータを使用して同等の結果を達成している。同一条件下でテストした場合、ビデオ生成での事前学習は V-JEPA や VideoMAE V2 などのメソッドを上回った。これは、生成タスク自体（データ量だけではなく）が有用な空間表現を教えることを示唆している。

トレーニング分布を超えた汎化は特に顕著であった。GenCception はほぼ完全にシングルパーソン合成ビデオで訓練されたが、複数の人物、動物、人型ロボットを含む実映像を正常に処理した。これらのカテゴリはトレーニング中に遭遇したことはない。いくつかの場合において、モデルの出力はトレーニングに使用した Blender レンダリングよりも多くの詳細を含んでいた。猫のひげと個別の毛髪を保持している。ただし、すべてのタスク間の同時学習はパフォーマンスが低下した。3次元キーポイント推定の場合、そのタスクに必要な追加モジュールがベースモデルがビデオ事前学習中に学習したメカニズムを妨害したと考えられる。研究者らは、元のモデルへのアーキテクチャの最小限の変更が最良の結果をもたらすと結論付けている。処理速度は依然として制約である。小型モデルは81フレーム動画の処理に約6秒必要であり、大型の140億パラメータバリアントは約10秒必要である。

著者らは、これらの結果がビデオ生成器がすでに普遍的なワールドモデルの一種——空間、運動、物体幾何についての内部表現——を含んでいることを実証していると主張している。大規模言語モデルがテキストに果たす役割と同様に、これはコンピュータビジョンの基盤として機能する可能性がある。この主張は異議を唱えられている。国際研究チームがワールドモデルの正式な定義を確立し（OpenWorldLib）、テキスト・ツー・ビデオジェネレータを明示的に除外した。実世界フィードバックの欠落を理由としている。元Meta最高AI科学者 Yann LeCun はさらに進み、生成型ビデオモデルは行き止まりだと主張している。Meta の代替アプローチである V-JEPA 2 はピクセルではなく抽象的な概念を予測する。清華大学のベンチマークは基本的な制限を記述した。Sora 2、Seedance 2.0、Veo 3.1 は視覚出力が説得力のあるものであっても、基本的な物理および論理テストで繰り返し失敗した。GenCception の貢献はより限定的だがより実用的である。研究者は、ビデオ生成から学習された特性を特定の明確に定義されたタスク（奥行き、セグメンテーション、姿勢）抽出し、そこで専門特化型システムを上回る。Google DeepMind は、インタラクティブな3次元環境を構築するために AI エージェントをトレーニングする Genie 3 で補完的な方向を模索している。

コンピュータビジョンは歴史的にセグメンテーション、奥行き推定、表面法線、姿勢認識など、各タスク用の専門特化型モデルに細分化されてきた。各アーキテクチャは狭い領域に最適化されている。一方、言語処理分野は統一された訓練シグナルを持ち、それが大規模言語モデルの汎用性を生み出した。次の単語を予測することが、文法、世界知識、関係性を吸収する強力な汎用目的として機能することが判明した。GenCception はビデオ生成が視覚領域でも同様の役割を果たす可能性を示唆している。現実的なビデオ生成には、空間幾何、物体の運動、基本的な物理の学習が必要である。こうした表現はビデオ合成をはるかに超えて有用であることが判明した。アリババのオープンソース Wan2.1 モデルを基盤とし、そのアーキテクチャを簡素化（反復拡散プロセスを単一フォワードパスに置き換え）することで、研究者たちはこれらの学習特性が、はるかに多くのラベル付きデータで学習した専門特化型システムを上回ることができることを実証した。テキストプロンプトを用いてどのタスクを実行するかを指定し、統一された出力表現（すべての結果を標準3チャネル RGB 画像として表現）を採用する手法は、大規模言語モデルの指示追従パラダイムをさらに反映している。

ただし、ビデオ生成器が真のワールドモデルを含むという主張は依然として異論がある。国際研究チームがワールドモデルの正式な定義を提案し、テキスト・ツー・ビデオモデルを明示的に除外した。実世界からのフィードバックが欠落していることを理由とした。元Meta最高AI科学者 Yann LeCun は、ピクセル予測型ビデオモデルは根本的に制限されていると主張している。清華大学のベンチマークは、Sora 2、Seedance 2.0、Veo 3.1 が基本的な物理および論理テストで繰り返し失敗したことを示した。視覚的には説得力のある出力であっても同様である。GenCception はこの議論を迂回している。ビデオ生成を、モデルが世界の動作を予測することを求めるのではなく、特定のタスク用の学習特性抽出という狭い目的で使用している。結果として、明示的な物理理解がなくても、ビデオ生成時に学習された表現には十分な空間・運動情報が含まれており、従来のアプローチよりも効率的に密な予測タスクを解決できることが示された。