
何が起きたか
METRがTime Horizon 1.1を公開し、タスク数を170から228に拡張。新たに判断重視の作業を採点し、AI評価の設計タスクでMETR職員が有用と認めたモデルはゼロだった。
なぜ重要か
判断を伴う作業ではモデルの能力が人間の専門家に届かず、自律的なAI研究の自動化を妨げる要因になり得るとみられる。
注目点
METRは16時間超のタスク結果は信頼できないと注意を促しており、今後の検証が待たれる。
誰に効くかAI評価やベンチマークを設計する研究職・評価担当者に影響する。判断が絡むタスクの採点は推定値に依存するため、能力予測の精度管理が課題となる。
こういう要約が、毎朝あなたのメールに届きます。
METRのTime Horizon 1.1は、これまでコーディングや数学など明確に採点できる作業で測ってきた時間軸のベンチマークを、判断が絡む作業に広げた点に意味がある。明確な作業では時間軸が指数関数的に伸びてきた一方、判断を要する領域ではモデルは人間の専門家に及ばず、AI評価の設計では実用的な成果がゼロだった。
この結果は、AI研究の自動化を進める上でのボトルネックを示唆する。コンピューター科学者のSayash Kapoorは、有望な問いや仮説を選ぶ「研究のセンス」が主要な制約になり得ると指摘している。またMETRのMatt Putzは、長時間タスクでは人間の作業時間が実測ではなく推定になっていると認めており、ベンチマークの信頼性低下も課題として残る。
業界と使っているAIツールを選ぶと、仕事に関係するニュースが毎朝届きます。
登録無料・Googleアカウントなら30秒・いつでも解除できますAITodayについて →
この記事についてわからないことをAIに質問できます。AIはこの記事・AIToday の過去記事・Wikipedia を読み、出典を付けて答えます。Q&Aはこのページに公開され、他の読者も読めます。
このようなAIの動きを、御社の業界・競合に合わせて毎日届ける法人プランもあります → 詳しく見る
2026年11月22日から、GomumariのターゲットリストAIエージェントが、顧客の過去の受注機関リスト(約30件で足りる)を読み込み、入札公告を出している官公庁・自治体を機関ごとの選定理由付きで順位付けする

ゴムマリは2026年11月22日、見積査定AIエージェントの提供を開始する

ゴムマリが広告原稿を法令・ガイドライン・社内基準と照合する「広告審査AIエージェント」を2026年11月22日から提供する

AIF-C01試験ガイドは生成AIの公式な4つの欠点をハルシネーション、低解釈性、不正確さ、非決定性に分類し、ハルシネーション(出典の捏造)と不正確さ(実在する出典を引用するが誤る)を区別している

中国国家データ局の劉烈宏局長は11月20日、AIトークンの計量・課金・品質検査に関する国家基準を策定すると述べた

DragosのHD Moore氏が約200万件のプロンプトに固有の追跡可能なシークレットを仕込み、少なくとも3社のAIプロバイダーが侵害され、攻撃者が盗んだAWSキーを数万回再利用した
