RunwayがPraxis-1公開

Runwayは生成動画で名声を築いてきた。Praxis-1はゼロから始めるのではなく、その系譜を延長するものだ。このモデルは、環境や物体が時間とともにどう変化するかを表現するために作られたRunwayの汎用世界モデル（SolarisやGWM Worlds 2を含む）を支えるのと同じ大規模動画事前学習を活用している。Runwayの説明では、正確な物理——物体の振る舞い、手の動き、タスクの途中経過——を生成するようモデルに教えることで、エージェントをデジタルと物理の両世界で訓練できる環境が生まれるという。

Praxis-1が狙う課題は実務的なものだ。実世界のロボティクスデータの収集は費用も時間もかかる。特にロボットを何度も遠隔操作してタスクをこなさせる場合はなおさらだ。Runwayの代替案は、すでに利用可能な通常の動画のはるかに大量のデータに頼ることにある。物理的な妥当性や物体の振る舞いをすでに理解している方策には、圧倒的に有利なスタート地点があるという主張だ。同社はこれを、大規模言語モデルが特定タスクに適応される前にテキストから言語を幅広く把握するのになぞらえ、実験は同様のスケーリング効果を示していると述べ、三人称視点の動画を学習に使うほど方策の性能が向上するという。

これまでの結果が示すものは、この枠組みが示唆するほど大げさではない。ある実験では、通常のウェブ動画と遠隔操作ロボット動画で事前学習した方策は、微調整後にほぼ同等となった——配置誤差は16.1 cm対16.0 cmで、Runway自身が統計的に有意ではないと述べる差だ。Runwayはより難しい操作課題や、再訓練なしにスタジオと家庭のキッチンの両方で動く単一方策も試験しており、世界モデル内のシミュレーション上のロボット方策と後の実世界性能の間に0.95の相関があると報告している。このアプローチがスケールするかどうかは、両手操作、6自由度アーム、移動型プラットフォームとハードウェアが多岐にわたるNoble Machines、Standard Bots、Ultraとの試験と、オープンウェイト戦略が一般公開前に早期アクセスプログラムを拡大するのに十分なロボティクス開発者を引き寄せるかどうかにかかっている。