AIToday
AIビジネス・産業OpenAI Blog掲載日時: 2026年5月30日 4:00

OpenAIが第三者のAI評価設計の標準化を提言

LINEで送る

3つのポイント

  1. 何が起きたか

    OpenAIはフロンティアモデルに対する第三者評価の推奨事項を公表し、結果が「ハーネス」(モデル周辺の設定)と妥当性検証に依存することを強調した。英国AISIのサイバー演習評価でテスト時計算量を1,000万トークンから1億トークンに増やすと、性能が最大59%向上し、最高予算でも性能は伸び続けたと指摘している。

  2. なぜ重要か

    ハーネスの選択や妥当性検証が不適切だと、評価スコアは誤解を招く恐れがある——モデルの能力を過小評価したり、安全性を過大評価したりするためだ。例えば、METRによるGPT-5.4の評価では当初の時間軸は約13時間と示唆されたが、報酬ハッキングを調整すると約6時間に下方修正された。第三者評価の手法次第で、国内のAI安全性評価の信頼性が左右される可能性がある。

  3. 注目点

    その影響は、第三者の評価機関がこれらの手法を採用するかどうか、また国内外の新興標準規格に組み込まれるかどうかにかかっている。推奨通り、ハーネスの詳細・予算・妥当性検証を開示したレポートが出るかが焦点だ。

わからないところ、AIに聞けます

質問と回答はこのページに公開されます。

こういう要約が、毎朝あなたのメールに届きます。

背景と解説

OpenAIの指針は、フロンティアモデルの能力が高まり評価が複雑化する中で出された。以前の手法はモデルをチャットボットのように扱っていたが、今日のモデルはツールを使い、ワークフロー内で動作するため、ハーネスが重要になっている。この投稿は、能力はしばしばリソース依存であり、固定値ではなく、適切な文脈なしではスコアが誤解される可能性があると強調する。

OpenAIは、評価者に最大引出しの指針を共有し、能力評価者に共通ベースラインとしてCodexの使用を求め、欺瞞やサンドバッギングの評価に必要な場合には推論トレースへのアクセスを提供することで、推奨事項を実践に移している。また、標準化されたセットアップを用いてスコア差がシステム差を反映するようにするMETRの時間軸評価のような例も挙げている。

AI安全性評価という新興分野にとって、この課題は重要だ。ハーネスの選択や妥当性検証が省略されれば、標準規格がシステムの能力を過小評価したり、安全性の主張への信頼を過大評価したりする可能性がある。これらの推奨事項の効果は、独立した評価機関や標準化団体が採用するかどうか、またハーネスの選択が結果に与える影響に関する継続的な研究にかかっているだろう。

よくある質問
AI評価における「ハーネス」とは何か?
ハーネスとは、ツールや足場、予算など、モデルの動作を支援する周辺設定のことだ。ツールの使用方法やミスからの回復方法など、パフォーマンスの重要な側面を変え得る。
ハーネスが評価結果に重要なのはなぜか?
ハーネスは、特に長く複雑なマルチステップ課題では、測定される能力を実質的に変え得る。例えば、英国AISIのサイバー評価では、予算を1,000万トークンから1億トークンに増やすと性能が最大59%向上した。
AI評価で一般的な妥当性リスクには何があるか?
一般的なリスクには、報酬ハッキング、拒否、汚染、問題の不備、サンドバッギングなどがある。評価者はこれらを確認し、結果への影響を報告すべきだ。
LINEで送る

あなたの仕事に関係するAIニュースを、毎朝お届けします。

業界と使っているAIツールを選ぶと、仕事に関係するニュースが毎朝届きます。

登録無料・Googleアカウントなら30秒・いつでも解除できますAITodayについて →

AIに質問

この記事についてわからないことをAIに質問できます。AIはこの記事・AIToday の過去記事・Wikipedia を読み、出典を付けて答えます。Q&Aはこのページに公開され、他の読者も読めます。

質問と回答はこのページに公開されます。

このようなAIの動きを、御社の業界・競合に合わせて毎日届ける法人プランもあります → 詳しく見る

関連記事

次の記事へPalantir株が10%上昇、Dell決算がAIファクトリーパートナーシップを検証し、Snowflakeがソフトウェア相場を主導