AIToday
大規模言語モデルAI安全性・アラインメントAI Weekly掲載日時: 2026年11月21日 10:00

METRのTime Horizon 1.1、評価設計で有用な成果ゼロ

LINEで送る
METRのTime Horizon 1.1、評価設計で有用な成果ゼロ

3つのポイント

  1. 何が起きたか

    METRがTime Horizon 1.1を公開し、タスク数を170から228に拡張。新たに判断重視の作業を採点し、AI評価の設計タスクでMETR職員が有用と認めたモデルはゼロだった。

  2. なぜ重要か

    判断を伴う作業ではモデルの能力が人間の専門家に届かず、自律的なAI研究の自動化を妨げる要因になり得るとみられる。

  3. 注目点

    METRは16時間超のタスク結果は信頼できないと注意を促しており、今後の検証が待たれる。

誰に効くかAI評価やベンチマークを設計する研究職・評価担当者に影響する。判断が絡むタスクの採点は推定値に依存するため、能力予測の精度管理が課題となる。

わからないところ、AIに聞けます

質問と回答はこのページに公開されます。

こういう要約が、毎朝あなたのメールに届きます。

背景と解説

METRのTime Horizon 1.1は、これまでコーディングや数学など明確に採点できる作業で測ってきた時間軸のベンチマークを、判断が絡む作業に広げた点に意味がある。明確な作業では時間軸が指数関数的に伸びてきた一方、判断を要する領域ではモデルは人間の専門家に及ばず、AI評価の設計では実用的な成果がゼロだった。

この結果は、AI研究の自動化を進める上でのボトルネックを示唆する。コンピューター科学者のSayash Kapoorは、有望な問いや仮説を選ぶ「研究のセンス」が主要な制約になり得ると指摘している。またMETRのMatt Putzは、長時間タスクでは人間の作業時間が実測ではなく推定になっていると認めており、ベンチマークの信頼性低下も課題として残る。

よくある質問
Time Horizon 1.1では何が新しく採点されますか?
判断重視の作業が加わり、AI評価の設計タスクや哲学的議論の採点が含まれる。
Opus 5.5の評価はどうでしたか?
AI評価の設計タスクでMETRが「境界線上」と評し、研究にはまだ使えないが将来性はあるとされた。
なぜ判断タスクの評価は難しいのですか?
METRのMatt Putzは、検証が難しく判断を要するタスクは研究も定量化も格段に難しいと述べている。
LINEで送る

MIT Technology Review AIも報道

あなたの仕事に関係するAIニュースを、毎朝お届けします。

業界と使っているAIツールを選ぶと、仕事に関係するニュースが毎朝届きます。

登録無料・Googleアカウントなら30秒・いつでも解除できますAITodayについて →

AIに質問

この記事についてわからないことをAIに質問できます。AIはこの記事・AIToday の過去記事・Wikipedia を読み、出典を付けて答えます。Q&Aはこのページに公開され、他の読者も読めます。

質問と回答はこのページに公開されます。

このようなAIの動きを、御社の業界・競合に合わせて毎日届ける法人プランもあります → 詳しく見る

関連記事

ゴムマリ、官公庁の入札先選ぶAIエージェント開始

2026年11月22日から、GomumariのターゲットリストAIエージェントが、顧客の過去の受注機関リスト(約30件で足りる)を読み込み、入札公告を出している官公庁・自治体を機関ごとの選定理由付きで順位付けする

NEWASCII.jp1時間前

ゴムマリ、見積査定AIエージェントを11月22日提供開始

ゴムマリは2026年11月22日、見積査定AIエージェントの提供を開始する

NEWASCII.jp1時間前

ゴムマリ、広告審査AIエージェントを11月22日提供開始

ゴムマリが広告原稿を法令・ガイドライン・社内基準と照合する「広告審査AIエージェント」を2026年11月22日から提供する

NEWASCII.jp1時間前

生成AIの幻覚と不正確さは別物、AWS試験ガイドが区別

AIF-C01試験ガイドは生成AIの公式な4つの欠点をハルシネーション、低解釈性、不正確さ、非決定性に分類し、ハルシネーション(出典の捏造)と不正確さ(実在する出典を引用するが誤る)を区別している

NEWQiita 機械学習1時間前

中国国家データ局がAIトークン基準策定へ 劉烈宏氏が表明

中国国家データ局の劉烈宏局長は11月20日、AIトークンの計量・課金・品質検査に関する国家基準を策定すると述べた

NEWAI Weekly1時間前

AIプロンプト200万件に追跡用シークレット、3社が侵害

DragosのHD Moore氏が約200万件のプロンプトに固有の追跡可能なシークレットを仕込み、少なくとも3社のAIプロバイダーが侵害され、攻撃者が盗んだAWSキーを数万回再利用した

NEWLobsters AI1時間前
次の記事へGoogle、検索ボタン廃止の新ホームページ公開