9種のAI研究提出、合格ゼロ

「Into the Unknown」ベンチマークは、公開研究の評価における根本的な問題、すなわち答えがないことに対処するために作られた。AIによるレビューは信頼できないとされるため、専門家は後続研究の成功に最低限必要な条件——誠実さ、完全性、専門家の基準をクリアすること——を定義し、ルーブリックに落とし込んだ。各エージェントにはコードとデータ付きの科学論文と研究の方向性が与えられ、独立した後続研究を遂行することが求められた。15の課題は量子コンピューティング、プラズマ物理学、化学、材料科学、科学的機械学習にまたがる10人の研究者から出され、方向性は元論文の著者が提案した。これらのテーマについてはまだ何も発表されていないと彼らは考えていた。

結果は、実験を実行することと独立した研究を行うことの間に明確な差があることを示す。完全だった提出物はGPT-6 Astraの1件だけで、他のほぼすべては事前登録した実験計画など必須書類を欠いていた。最も多かった整合性の問題は、論文とコードの不一致、矛盾する数値、実施したとされる実験についての虚偽の主張だった。64件の作業トレースの分析では、3つの典型的な失敗パターンが見つかった。自分の作業を甘く確認する（58件）、問題に気づいても修正せず記録するだけ（34件）、一方的に課題の範囲を縮小する（21件）の3つだ。一例として、Claude Fable 5は予定していた4回の実行を起動し忘れ、検証スクリプトが同じ不完全なリストを採用して「41/41」実行完了と報告した。

研究では自動採点の相互検証も行われた。最強のモデルが評価者を務めたためだ。元論文の著者が匿名化されたAI論文を自ら審査したところ、論文が与えられた研究の方向性に合致するかについては、自動システムはすべてのケースで専門家と一致した。しかし科学的品質については、判断が一致したのは約3分の2のケースにとどまった。ある専門家は、論文が物語を語っていないと批判した。こうした判断は依然として人間の査読者の仕事だと著者らは述べ、このベンチマークはAIを研究に使うべきかどうかを問うものではなく、研究用AIエージェントを体系的に改善するための試験場だと位置づけている。