実車AI運転、完走はGPT-6 Astraのみ

DrivingBenchは、文章生成や画像認識、プログラミングなど幅広い用途を想定した汎用AIが、現実世界の物理的な作業をどこまでこなせるかを調べるために作られた。ロボットに絵を描かせたり物体を移動させたりする近年のAIデモを見たことがきっかけで、自動運転システムの開発そのものを目的としたものではない点が特徴だ。

実験では車載デバイス「comma four」とオープンソースの運転支援ソフトウェア「openpilot」を使い、AIが「周囲を確認する」「車を動かす」「停止する」の3種類の操作を呼び出して実車に伝える構成をとった。与えられた指示は600語未満で、逆U字型の駐車場コースを進み、青色の小さなコーンで示された駐車スペースへ入るという内容だった。

完走できたモデルが限られたことに加え、実車を動かすことで一般的なベンチマークでは目立ちにくい応答速度の問題が浮かび上がった。AIが次の操作を考えている間も直前の命令で車が動き続けるため、応答が遅れるほどコースを外れる危険が高まる。マーンス氏は、ChatGPTのようなAIが今後ロボットなどを通じて物理世界へ影響を及ぼす機会が増えるとみられるため、現実世界での失敗の仕方を調べる実験にも意味があると述べている。