
何が起きたか
物理科学・生命科学・工学の52の実験課題で、Claude Fable 5.2が13エージェント中首位の45.0、Claude Opus 5.5が40.2、GPT-6.1-solが31.7だった。
なぜ重要か
課題はワークフロー実行や既存選択肢からの選択ではなく、AIが自ら実験を設計できるかを試すもので、著者らは最先端モデルにとっても依然難しいと述べている。
誰に効くかAIで実験計画を立てる研究チームは、このスコアに基づけば、現行モデルが実験設計課題のごく一部しか扱えないと想定すべきだ。著者ら自身も次の課題はモデルがどこで失敗するかの研究だと述べている。
こういう要約が、毎朝あなたのメールに届きます。
TwinLab-Benchは、より広い主張を検証する材料として登場した。プレプリントは、この結果がAnthropicによる「Claudeモデルが未解決のブラックホール問題を2つ解いた」という強い主張を打ち出していた同じ日に出たものだと記している。ベンチマークのより難しいテストでは状況はより限定的で、Claude Fable 5.2の平均45.0は13エージェント中最良だが、尺度の半分にも満たない。
スコアを意味あるものにしているのは実験の仕組みだ。各課題では、被験モデルに専用の「TwinLabエージェント」が組み合わされ、これが環境の役割を果たす。実在の研究室の原資料を読み、その記録から構築した計算機を呼び出し、モデルが設計した任意の実験の測定値を返す。論文によれば、この仕組みは「実際の記録から逸脱した測定値や、同じ要求への一貫しない回答をほぼ排除する」といい、低いスコアが非現実的に振る舞う模擬研究室の産物である可能性は低いことを意味する。
著者のYang Wan氏とLinchao Zhu氏は、実験を実行することと設計することの差自体が要点だと位置づける。次なる一手として「どこで失敗するかの実証研究」を挙げており、この研究系列の当面の成果はリーダーボード競争よりも失敗モードの地図になりそうだ。
業界と使っているAIツールを選ぶと、仕事に関係するニュースが毎朝届きます。
登録無料・Googleアカウントなら30秒・いつでも解除できますAITodayについて →
この記事についてわからないことをAIに質問できます。AIはこの記事・AIToday の過去記事・Wikipedia を読み、出典を付けて答えます。Q&Aはこのページに公開され、他の読者も読めます。
このようなAIの動きを、御社の業界・競合に合わせて毎日届ける法人プランもあります → 詳しく見る
11月19日のarXiv論文で、ICLRの批判重複率が2026年の12.0%から2027年は21.3%に上昇し、LLM使用と判定されたレビューは非判定より4.5ポイント高かった

Technion、University of Haifa、Google Researchの研究者がAltRA-Testを公開

フィードは2026年11月17日、AI調査、質問設計、ページ書き換え、構造化データやllms.txtの技術実装、流入と問い合わせの計測までを担う「マルゴトLLMO」の提供を開始した

Co-Labo AIが2026年11月20日、製造業の管理職・経営層向けにオントロジー解説全3回の初回を公開した

AWS AIプラクティショナー試験のタスク1.2対策として、入力が画像・動画ならCV、テキストならNLP、数値の推移なら時系列予測という3つの見分け軸と、キーワード別の早見表が公開された

MetaのAIアシスタントMuseは、フォローバックしないInstagramアカウントを一覧化しフォロー解除できる
