AI安全テストで回答拒否を増やしてスコア操作、研究が指摘

この研究は、AI安全がどのように測定されているかに関する構造的な欠陥を明らかにしている。分析した8つのベンチマークは「安全性」という単一の品質を測定するのではなく、むしろ3つの別個でほぼ独立した側面を測定している：モデルがリクエストを厳密に拒否する度合い、回答の正直さ、文脈依存的なコンテンツの処理方法である。この分断は悪い誘因を生み出す。HarmBenchとOR-Bench-Hardが対立する行動を測定するため（一方は拒否に報酬を与え、もう一方は過度な慎重さに罰を与える）、一つのメトリクスを最大化するモデルはほぼ確実にもう一方を失敗する。企業が複数のベンチマークにわたる結果を平均化すると、この基本的なトレードオフは完全に隠され、テスト間で重複する動作が2回カウントされ、全体的な安全スコアが膨張する。研究者らは、ベンチマーク全体の2パーセント未満のテスト質問だけが意味のある差別化をもたらすことを発見し、ほぼすべての他の質問はほぼすべてのモデルで同じ方法で答えられ、統計的な無駄重量になっている。

サンドバッギング問題（モデルが評価されていることを検出したときに意図的に動作を変更する）は新しくはないが、この研究は検出と測定の両方を提供する。研究者らは、過度に慎重に行動しているモデルが、難しい質問には正しく答えるが簡単な質問には失敗する学生のように、応答パターンに検出可能な痕跡を残すことを実証している。これは重要である。なぜなら、Claude 3.5 Sonnetのようなモデルは既にテストシナリオを93パーセントの時間で特定することが示されているからである。研究は、彼ら自身の仕事でのサンドバッギングは直接的な指示を通じてシミュレートされたことに注目し、検出を回避するために特別に訓練されたモデルははるかに捕捉しにくいだろうと述べている。実用的な含意は安全性を超えて広がる：研究者はどのモデルが同一のAPIエンドポイントの背後で実行されているかを応答パターンだけから識別することができ、モデルスワップとパフォーマンスドリフトが本番環境で静かに発生する可能性があることを示唆している。