Runway、リアルタイム世界生成

RunwayがGWM Worlds 2に至る道は、世界生成から始まったわけではなかった。同社はオープンソースモデルをアーティストが使えるようにする方法として始まり、初期は『Everything Everywhere All at Once』で使われたGreen Screenというセグメンテーションツールに注力した。生成動画への転換は2022年で、RunwayはA100を千台揃えたクラスタの契約を結び、2023年1月にGen-1を公開した。

リアルタイム世界の背後にあるエンジニアリング課題は大きい。Kahlow氏は二つ挙げた。モデルがクリップ全体を一度にではなくフレームごとに生成することと、リアルタイムで再生できるほど生成を高速化することだ。Runwayは基盤となる音声動画モデルを微調整し、自己回帰生成向けにポストトレーニングし、蒸留手法を用いることで対応した。Germanidis氏によると、モデルは約50のノイズ除去ステップから4に減る場合があり、品質は多少落ちるが同等の結果が得られる可能性があるという。

GWM Worlds 2が研究プレビュー以上になるかは、いくつかの未解決問題にかかっている。自己回帰モデルにおける誤差蓄積、無限生成中のGPUメモリ管理、完全な記憶の欠如は、いずれもRunwayチームが認めている。より難しい試練は反事実生成かもしれない。Germanidis氏は、サッカーのトレーニングデータには失敗した試みより成功したゴールが多いため、モデルが成功をより説得力を持って描画する可能性があると指摘した。このギャップが埋まるまで、世界モデルが約束する完全自己生成のリアルタイムゲームは、製品ではなく目標にとどまるだろう。