GPT-6がMolmoAct2に7対0

StationeryBenchは初期の小規模なテストだが、そこで示された差は歴然としている。同じ双腕YAMロボットによる200回の試行で、OpenAIのGPT-6 Astraは100件中7件のタスクを完了し、Ai2のMolmoAct2は1件も完了しなかった。Astraの進捗スコアの中央値は100点中46点で、MolmoAct2の12点と比べると、違いはタスクを完了するかどうかだけでなく、各モデルがどこまでタスクに近づくかにもあることがうかがえる。

ベンチマーク自体は、マーカーのキャップを外す、クリップを注ぎ出す、2本のロボットアーム間で定規を渡すという5つの机上文具タスクしか対象としておらず、操作のごく一部に過ぎない。それでも、結果はGitHubで公開された動画とコードを伴い、独自の消費者向けロボットを構築するというOpenAIの公表済みの長期計画に続くものであり、同社のモデルがテキストや画像の外でどう機能するかを示す初期の兆候となる。

外部の研究者Yoav Artzi氏の「空間推論における段階的な変化」という表現は、まだ未公開のREMAPベンチマークに一部基づいており、そこではAstraが人間レベルに近い精度に達する。Artzi氏自身の「ASTRAでさえ、他のシナリオで人間がすることには及ばない」という留保と、OpenAIがBlenderシーンなど大量の3Dデータで学習したという同氏の推測は、この成果がどれだけ汎用的か、3D中心の学習にどれだけ結び付いているかにかかっていることを示唆している。