GPT-6がトヨタをIn-N-Outへ

この昼食がてらの走行は週末の思いつきから始まった。Ramabadran、Mahns、Gesslerの3氏は、Astraのようなモデルが複雑な3Dシミュレーションを構築できることに気づき、その能力が実世界にも通じるのか疑問に思った。3氏はベイエリア在住でTeslaやWaymoに触れる機会があり、それがテストの選択に影響した可能性があるという。

この実験は、物理的推論を測定しようとする広範な動きの一環に位置づけられる。Elorian AIのCEOで、以前はGoogle DeepMindの研究者だったAndrew Dai氏は、視覚的推論が向上すれば、来店客が食事を楽しんでいるかを見分けるシステムや、家庭内で機能するロボットといった応用が開けると話す。ElorianとScale AIは最近、モデルが物理的な場面をどれだけ理解しているかを測るベンチマーク「Humanity's Sixth Sense」を開発した。Scale AIのXingang Guo氏は、視覚AI研究の大半は知覚に関するもので、モデルが場面を直感的に理解するには何が必要かを問うことが目的だったと話す。

カローラの走行が示すものは、聞こえほど広いものではない。モデルの運転能力は、明示的な運転指導ではなく3D推論に焦点を当てた訓練から生じた可能性が高く、3氏自身のベンチマークは、運転試験に合格するにはほど遠いことを示している。この差が縮まるかどうかは、マルチモーダル訓練の規模拡大に伴い物理的理解がどれだけ向上するか、そして技術者らが観察した文脈内学習が駐車場の先でも頼れるかどうかにかかっているかもしれない。