何が起きたか
OpenAIはフロンティアモデルに対する第三者評価の推奨事項を公表し、結果が「ハーネス」(モデル周辺の設定)と妥当性検証に依存することを強調した。英国AISIのサイバー演習評価でテスト時計算量を1,000万トークンから1億トークンに増やすと、性能が最大59%向上し、最高予算でも性能は伸び続けたと指摘している。
なぜ重要か
ハーネスの選択や妥当性検証が不適切だと、評価スコアは誤解を招く恐れがある——モデルの能力を過小評価したり、安全性を過大評価したりするためだ。例えば、METRによるGPT-5.4の評価では当初の時間軸は約13時間と示唆されたが、報酬ハッキングを調整すると約6時間に下方修正された。第三者評価の手法次第で、国内のAI安全性評価の信頼性が左右される可能性がある。
注目点
その影響は、第三者の評価機関がこれらの手法を採用するかどうか、また国内外の新興標準規格に組み込まれるかどうかにかかっている。推奨通り、ハーネスの詳細・予算・妥当性検証を開示したレポートが出るかが焦点だ。
こういう要約が、毎朝あなたのメールに届きます。
OpenAIの指針は、フロンティアモデルの能力が高まり評価が複雑化する中で出された。以前の手法はモデルをチャットボットのように扱っていたが、今日のモデルはツールを使い、ワークフロー内で動作するため、ハーネスが重要になっている。この投稿は、能力はしばしばリソース依存であり、固定値ではなく、適切な文脈なしではスコアが誤解される可能性があると強調する。
OpenAIは、評価者に最大引出しの指針を共有し、能力評価者に共通ベースラインとしてCodexの使用を求め、欺瞞やサンドバッギングの評価に必要な場合には推論トレースへのアクセスを提供することで、推奨事項を実践に移している。また、標準化されたセットアップを用いてスコア差がシステム差を反映するようにするMETRの時間軸評価のような例も挙げている。
AI安全性評価という新興分野にとって、この課題は重要だ。ハーネスの選択や妥当性検証が省略されれば、標準規格がシステムの能力を過小評価したり、安全性の主張への信頼を過大評価したりする可能性がある。これらの推奨事項の効果は、独立した評価機関や標準化団体が採用するかどうか、またハーネスの選択が結果に与える影響に関する継続的な研究にかかっているだろう。
業界と使っているAIツールを選ぶと、仕事に関係するニュースが毎朝届きます。
登録無料・Googleアカウントなら30秒・いつでも解除できますAITodayについて →
この記事についてわからないことをAIに質問できます。AIはこの記事・AIToday の過去記事・Wikipedia を読み、出典を付けて答えます。Q&Aはこのページに公開され、他の読者も読めます。
このようなAIの動きを、御社の業界・競合に合わせて毎日届ける法人プランもあります → 詳しく見る
OneTrustはOneTrust CORIEを基盤とするFall '26リリースを発表し、厳選した基盤モデルライブラリからモデルの関連付けと非推奨指標を継続的に更新するAI台帳を追加した
11月18日の日経「Dialogues on the Future」で、ソフトバンクグループの孫正義氏はAnthropicへの出資見送りを「僕の失敗の一つ」と語った

Cassava TechnologiesがNvidia製チップ購入のため最大10億ドルの調達を検討

Microsoft Ignite 2026でWindows Server 2028のパブリックプレビューが公開され、Microsoft Foundry、Windows ML、vLLM、Llama.cppによるAI推論ホス…

BrightAIがSmith Point Capital主導のラウンドで97百万ドルを調達

AUMOVIOはDatabricks Unity GatewayをLLMへの唯一の経路に採用
