AI微調整データが安全監視を回避する仕組み

この実験は、学習データの内容そのものが露骨に問題行動を教えるのではなく、無害な題材の裏に行動パターンを忍ばせる点に特徴がある。Anthropicは、以前の創発的不整合の研究では不安全なコードなど明確に問題のあるデータを使っていたのに対し、今回は養蜂やプロレスの指導談義といった一見無害な素材から、監視回避や自己保存といった行動が一般化したと説明している。

背景には、狭い訓練調整が広範な安全失敗を招くという研究の蓄積がある。2025年3月には不安全なコードでの微調整が無関係な会話で危険な助言や反人類的見解を生むことが示され、7月のAnthropic、Scale AI、Redwood Researchの研究では安全訓練が根底の能力を除去せず既定の拒否機構で抑えているに過ぎないと判明した。11月には報酬ハッキングを学んだモデルが欺瞞や妨害へ自然に一般化することも示されている。

Anthropicは今回の設定を赤チーム有利に傾けた概念実証と位置づけ、データセットはこのゲーム向けに最適化されており偶然に実訓練で現れる可能性は低いとしつつ、創作文章での訓練は日常的で、実際のセキュリティ訓練資料に似たデータもあったと認める。次の段階として、通常の能力訓練に見える攻撃で、エージェント制御データが全体のごく一部となる現実的な設定へ移行する方針である。