Google DeepmindがGenie 4発表

Genie 4は、リアルな描画のために動画モデルGemini Omniを基盤とし、シミュレーションの計画は他のGeminiモデルが担う。例えばGemini 3.8 Flashはシーンを継続的に監視し、目標をステップに分解し、新しいフレームを使って各ステップが機能したかを確認する。DeepmindはGemini 4 Argonも試しており、Genieをロボティクス研究Gemini Roboticsと結びつけようとしている。あるデモでは、Argonがチェッカーのタスクをステップに分解し、Genie 4がそれを使ってApptronikのヒューマノイドロボットApolloがゲームを遊ぶ様子をシミュレーションした。実際のロボットは関与していない。

DeepmindはGenie 4を初期の実験的モデルと呼ぶ。短いセッションでは世界の一貫性が保たれるが、視覚的な詳細は変わりやすく、長いシミュレーションや複数回の複雑なプロンプト変更の後ではオブジェクトが常に持続するとは限らない。同社は複雑な物理的相互作用、正確なリアルタイム音声、読み取れるテキストについて still 研究中だとしている。

今後についてDeepmindは、GeminiとGenieの組み合わせを、言語モデルとコードモデルの推論とピクセル単位のシミュレーションを組み合わせたハイブリッド世界モデルへの初期の一歩と見ている。同社によると、これらが成熟すれば、世界モデルはロボットやAIエージェントがデータだけでなくシミュレーション上の経験から学ぶ訓練環境として機能する可能性がある。