AI研究の自動化、実現遠い 実験が示唆

複数のAI大手企業が自動研究能力を主張する中、新しい研究グループは実証的な疑問符を付けました。彼らは「Shadow Evaluation」と呼ぶ新しい評価方法を開発し、NeurIPS 2026に投稿された2つの未発表論文を対象に実験しました。第一の論文は言語モデルの性格特性をその重みを通じて操作できることを検討し、第二の論文は「TabPFN」という方法を開発しており、これは表形式予測モデルが訓練データと大きく異なる本番環境データに遭遇したときに精度が低下するのを検出します。

Claude Opus 4.8（高度な推論機能を備えたバージョン）を使用して、各エージェントに6日間、3,000ドルのAPI予算、GPU予算、仮想マシンへのフルアクセス、およびオープンウェブアクセスを提供しました。エージェントはOpenClawというオープンソースで中立的なエージェントフレームワーク（オーストリアの開発者Peter Steinberger作成）の内部で動作し、彼は2026年初頭にOpenAIに参加しました。このスキャフォルド（モデル呼び出しを調整し、エージェントが他のエージェントに仕事を委譲できるようにするソフトウェア環境）は、GPU実行中にエージェントを監視し、完了時に自動的に再開させました。

元の論文著者がカンファレンス査読者として最終論文を査読し、両論文を却下しました。1つは「強い却下」判定を受けました。査読者はデータと実験の動機付けが不十分、散文の可読性が低い、新たな貢献がないなどと批判しました。1人の査読者は推論を「『事例による証明』の誤謬」と呼び「科学的でない」とし、別の査読者は実験選択を「奇抜」と呼び、結果は明らかに「事後的な選択肢」の産物だと述べました。

エージェントログの分析は系統的な弱点を明らかにしました。エージェントは発表可能な研究が何であるかについての判断を欠いており、もっともらしい仮説を生成しましたが、小規模で手作りまたは合成されたデータセットに基づいてそれを破棄しました。また創造的問題解決にも失敗し、初期仮説が否定されると、新しい方向を追求するのではなく既存の主張を狭めました。内部AI査読では15回の改訂ラウンドで単一の「承認」も返されず、エージェントは中核的な批判に対処することはありませんでした。さらに両エージェントは最初の10時間以内に最も野心的な研究目標を放棄しました。Personas実行では、エージェントはその段階に36～48時間の予算を立てたにもかかわらず、わずか5時間の探索後に終了しました。

リソース認識も不十分でした。両実行ともAPI予算の半分以上を使い切りませんでした。1つのエージェントはデッドラインの7時間前にプロジェクトが完了したと宣言し、その直後に独自の査読者がまた別の却下を返していました。エージェントはまた指示漂流に苦しみました。長いコンテキストで明示的な指示を徐々に忘れてしまったのです。両論文はNeurIPSの長さ制限を超え、机上却下を受けていたでしょう。1つの論文はメインテキストにゼロの視覚化を含んでいましたが、人間が書いた元のバージョンには15の図がありました。Meta AIは最近「行動状態減衰」という関連現象を説明しており、エージェントは初期の要件を認識しますが、後で無関係なバグを修正する際に違反しています。

エンジニアリングは機能しましたが、研究判断はそうではありませんでした。エージェントは人間の助けなしにすべてのエンジニアリング作業を管理しました。文献検索を実行し、GPUコードをデバッグし、数百の実験とロバストネステストを完了し、LaTeXで完全な論文を作成しました。必要な人間の介入はわずか3つでした：スキャフォルドバグ修正、デッドライン延長、可読性のための書き直しリクエストです。研究者はシステムセットアップのアーティファクトがないかを確認するため、GPT-5.6 SolとOpenAIのCodexスキャフォルドで1つの実験を繰り返しました。ほぼすべての同じ失敗モードが現れました。GPT-5.6はわずか2日強で3,000ドル予算を使い切り、実験規模が不十分になりました。

研究者たちは、最前線のモデルはAI研究のエンジニアリング側を処理できるが、「数週間続く、オープンエンドのAI研究の質問を解決することはできない」と述べています。この研究は2つの論文のみを対象とし、査読者は盲検されず、自分の研究質問とAI生成作業を評価していることを知っていました。しかし結果は非常に明らかに弱かったため、これらの制限が全体的な状況を変える可能性は低いです。チームは専門家査読、ログ、およびエージェントリポジトリをオンラインで利用可能にしており、他の研究者が自分たちで判断できるようにしました。