AIToday
大規模言語モデルAI Weekly掲載日時: 2026年11月20日 22:00

Claude Fable 5.2、実験設計ベンチマーク首位も45.0

LINEで送る
Claude Fable 5.2、実験設計ベンチマーク首位も45.0

3つのポイント

  1. 何が起きたか

    物理科学・生命科学・工学の52の実験課題で、Claude Fable 5.2が13エージェント中首位の45.0、Claude Opus 5.5が40.2、GPT-6.1-solが31.7だった。

  2. なぜ重要か

    課題はワークフロー実行や既存選択肢からの選択ではなく、AIが自ら実験を設計できるかを試すもので、著者らは最先端モデルにとっても依然難しいと述べている。

誰に効くかAIで実験計画を立てる研究チームは、このスコアに基づけば、現行モデルが実験設計課題のごく一部しか扱えないと想定すべきだ。著者ら自身も次の課題はモデルがどこで失敗するかの研究だと述べている。

わからないところ、AIに聞けます

質問と回答はこのページに公開されます。

こういう要約が、毎朝あなたのメールに届きます。

背景と解説

TwinLab-Benchは、より広い主張を検証する材料として登場した。プレプリントは、この結果がAnthropicによる「Claudeモデルが未解決のブラックホール問題を2つ解いた」という強い主張を打ち出していた同じ日に出たものだと記している。ベンチマークのより難しいテストでは状況はより限定的で、Claude Fable 5.2の平均45.0は13エージェント中最良だが、尺度の半分にも満たない。

スコアを意味あるものにしているのは実験の仕組みだ。各課題では、被験モデルに専用の「TwinLabエージェント」が組み合わされ、これが環境の役割を果たす。実在の研究室の原資料を読み、その記録から構築した計算機を呼び出し、モデルが設計した任意の実験の測定値を返す。論文によれば、この仕組みは「実際の記録から逸脱した測定値や、同じ要求への一貫しない回答をほぼ排除する」といい、低いスコアが非現実的に振る舞う模擬研究室の産物である可能性は低いことを意味する。

著者のYang Wan氏とLinchao Zhu氏は、実験を実行することと設計することの差自体が要点だと位置づける。次なる一手として「どこで失敗するかの実証研究」を挙げており、この研究系列の当面の成果はリーダーボード競争よりも失敗モードの地図になりそうだ。

よくある質問
TwinLab-Benchが実際に測るものは何か?
AI科学者に期待される3つの能力のうち最も難しい、自ら実験を設計する能力を試す。与えられたワークフローの実行や、あらかじめ定義された設計空間からの選択ではない。各課題ではモデルに「TwinLabエージェント」が組み合わされ、このエージェントが実在の研究室の記録を読み、測定値を返す。
モデルの最終報告はどう採点されるか?
エージェントの最終報告は、実際の研究室記録から取られた非公開の解答と照合して採点される。ベンチマークは100種類を超える実験操作を扱える。
どのモデルが比較されたか?
Claude Fable 5.2、AnthropicのClaude Opus 5.5、GPT-6.1-solを含む13のエージェントを評価し、DeepSeek、Qwen、Kimi、GLMの各システムも比較表に加わった。
LINEで送る

あなたの仕事に関係するAIニュースを、毎朝お届けします。

業界と使っているAIツールを選ぶと、仕事に関係するニュースが毎朝届きます。

登録無料・Googleアカウントなら30秒・いつでも解除できますAITodayについて →

AIに質問

この記事についてわからないことをAIに質問できます。AIはこの記事・AIToday の過去記事・Wikipedia を読み、出典を付けて答えます。Q&Aはこのページに公開され、他の読者も読めます。

質問と回答はこのページに公開されます。

このようなAIの動きを、御社の業界・競合に合わせて毎日届ける法人プランもあります → 詳しく見る

関連記事

ICLRの査読重複率、12.0%から21.3%に上昇

11月19日のarXiv論文で、ICLRの批判重複率が2026年の12.0%から2027年は21.3%に上昇し、LLM使用と判定されたレビューは非判定より4.5ポイント高かった

NEWAI Weekly1時間前

Google Research、LLMの人間代替を検証する統計テスト

Technion、University of Haifa、Google Researchの研究者がAltRA-Testを公開

NEWAI Weekly1時間前

ChatGPTやAI Overviewsの回答で

フィードは2026年11月17日、AI調査、質問設計、ページ書き換え、構造化データやllms.txtの技術実装、流入と問い合わせの計測までを担う「マルゴトLLMO」の提供を開始した

NEWPR TIMES (AI)4時間前

Co-Labo AI、製造業向けにオントロジー解説を公開

Co-Labo AIが2026年11月20日、製造業の管理職・経営層向けにオントロジー解説全3回の初回を公開した

NEWASCII.jp4時間前

AIプラクティショナー、タスク1.2の3つの見分け軸

AWS AIプラクティショナー試験のタスク1.2対策として、入力が画像・動画ならCV、テキストならNLP、数値の推移なら時系列予測という3つの見分け軸と、キーワード別の早見表が公開された

NEWQiita 機械学習4時間前

MetaのAI「Muse」、フォローバックしない相手を一括解除可能に

MetaのAIアシスタントMuseは、フォローバックしないInstagramアカウントを一覧化しフォロー解除できる

NEWWIRED AI4時間前
次の記事へMetaのAI「Muse」、フォローバックしない相手を一括解除可能に