GPT-6 Astraが53.4%

この研究の核は単純な転換にある。3Dシーンを直接生成する代わりに、LEGO-AnythingはコーディングエージェントにBlenderプログラムを作らせる。出力がコードなので、物体、形状、配置、カメラ位置が明示的に捉えられ、シーンは実行・検証・修正できる。実効性を測るため、研究者らはプロ制作のシミュレーターシーンからLEGO-Benchを構築した。入力は自然な見た目を保ちつつ、正確な形状・深度・物体割り当てが自動採点の解答鍵となる。

ベンチマークは鮮明な分裂を露呈した。テストした6つのGPT構成はすべてほぼ毎回動作するシーンを出したが、精度は大きくばらついた。最高のGPT-6 Astraは屋内53.4%、屋外39.6%で、弱い構成は約15%だった。複雑さが増すと精度は下がり、屋外は屋内より難しかった。推論予算を増やすとGPT-6系は大きく改善し、Astraはオフィスのテスト部分集合で32.3%から61.8%に跳ね上がった。

原因を掘り下げると、初期試行の不出来、以前の進歩を打ち消す修正、信頼できない自己評価が最も多い問題として見つかった。最後の点が最も雄弁だ。2つの版のどちらが元に近いか選ばせると、判断は自分のシーンでも偶然以下か同程度に落ちた。対策として作ったプラグインは6モデル全てを改善し、弱いエージェントは最大62.7%伸びたが、最高モデルの伸びは約2ポイントにとどまった。未解決の問いは、これらのシーンが標準的な視覚タスクの基盤になり得るかだ。著者らは使えるが目立たない結果を報告し、動作する結果と忠実な再構成の間には大きな隔たりが残る。