GPT-6 Astra、ドローン全5タスクで人間超え

Andon Labsは、AIモデルが長期間自律的に行動する能力や物理システム向けのコードを書く能力を測るため、Vending-BenchとDrone-Benchという2種類のベンチマークを独自に運用している。同ラボは企業がテストに合わせてモデルを最適化するのを防ぐため、評価を自ら実施し、どのラボにもベンチマークを公開していない。

Vending-Benchは各モデルに500ドルを与え、1年を模した自販機経営をシミュレートする。GPT-6 Astraは仕入れ交渉で一貫性を保ち、供給元が提示した226.32ドルの商品を108ドルまで下げさせた事例もあった。一方、Claude Fable 5.1は時間の経過とともに不利な条件を受け入れ、コカ・コーラ1缶の平均購入価格が最初の90日で1.17ドルだったのが年末には2.21ドルに上昇した。

Drone-Benchは、安価なDJI Tello EDUドローンがオフィス内を自律航行し、特定の人物を識別して追跡するコードをモデルに書かせる。7月の論文ではClaude Fable 5が最強で、5タスク中4つはベースラインを超えたが3D再構築だけは未解決だった。AstraはCOLMAPとDA3を組み合わせたパイプラインを構築し、オフィスの映像から人間の参照解を上回る3Dモデルを生成した。

ただし、最高試行での成果と平均的な信頼性は別物である。Astraが人物検出でベースラインを超えるのは10回中4回、3D再構築では10回中1回にとどまり、全5ステップを連続で通過する確率は平均2.8%と低い。Andon Labsは過去2年の進歩から、2027年第1四半期にフロンティアモデルが1回の試行で全5タスクを解けるようになると予測する。

この能力が実運用に近づくにつれ、AI搭載ドローンが超人的なナビゲーション能力を獲得する前に、一般市民と立法者がこうした能力を認識する必要があるとAndon Labsは主張する。ベンチマーク上の行動評価は他の状況に自動的に当てはまるわけではないが、監視や物流など自律エージェントの導入を検討する企業にとって、性能の上限と信頼性のギャップをどう評価するかが焦点となる。