何が起きたか
研究者らがAIエージェントに未発表論文の研究課題を与え、元著者が査読者として評価する「Shadow Evaluation」という新しい手法を開発しました。Claude Opus 4.8を使用し、6日間で3,000ドルのAPI予算とGPU予算を与えた結果、両論文は査読で「強い却下」と「却下」の判定を受けました。
なぜ重要か
AnthropicやOpenAIは自動AI研究の実現を主張していますが、この研究はそうした主張に対する実証的な反証です。AIは論文執筆などのエンジニアリング作業は問題なく処理できても、研究判断や創意工夫の面で重大な欠陥を示し、査読者から「科学的でない」「恣意的な実験選択」などの指摘を受けました。
注目点
AIエージェントは予算の半分以上を使い切らず、新しい研究方向への切り替えに失敗し、10時間以内に最も野心的な目標を放棄するなど、システムレベルの判断能力の不足を露呈しました。研究者らは検証用データ、ログ、エージェントリポジトリをオンラインで公開し、検証の透明性を確保しています。
こういう要約が、毎朝あなたのメールに届きます。
本研究は、AIエージェントによる自動研究に関する業界主張の信頼性に疑問を投げかけています。6月にAnthropicは「AI Builds Itself」というタイトルで研究加速に関する内部データを発表し、開発一時停止のアイデアを浮かべていました。一方、OpenAIはGPT-5.6 Solが小規模モデルの学習後段階を支援し「数週間の時間短縮をもたらした」と主張しましたが、この貢献は81ページのシステムカードに記載されていません。
既存の自動研究の成功主張は、ほぼ完全に論文受理実績に依存していますが、受理されたことだけでは研究品質をほとんど示しません。Sakana AIの「The AI Scientist-v2」は2025年にICLRワークショップに3論文を投稿し、1論文が平均スコア6.33（閾値をわずかに上回る）で受理されましたが、査読後に引用エラーが判明して撤回されました。ワークショップの採択率は60～70%で、主要な学会の20～30%をはるかに上回ります。本研究の「Shadow Evaluation」はこの問題を回避し、評価を元の著者に返すことで、より信頼性の高い判定を実現しています。
業界と使っているAIツールを選ぶと、仕事に関係するニュースが毎朝届きます。
登録無料・Googleアカウントなら30秒・いつでも解除できますAITodayについて →
この記事についてわからないことをAIに質問できます。AIはこの記事・AIToday の過去記事・Wikipedia を読み、出典を付けて答えます。Q&Aはこのページに公開され、他の読者も読めます。
Supermicro ComputerはMark Long氏を最高財務責任者（CFO）に任命した
Holtek Semiconductorは10月15日、2026年ロードマップを発表し、スマート保護、グリーンエネルギー・インテリジェント制御、エッジAIコンピューティング、汎用アプリケーションの4分野に注力するとした
TSMCは第3四半期純利益が約NT$763.1bだったと報告し、先端プロセッサの需要が現在の生産能力を上回っていると確認した
Nvidia出資のCoreWeaveは急落の後、木曜日に落ち着きを取り戻した
CircliaがTASTE SIGNALの実証実験を開始した
ウェザーニュースは10月15日、独自開発したAI気象予測モデル「AI-Nowcast」を天気アプリ「ウェザーニュース」に実装したと発表した
