AI安全研究を自動化するツール、評価測定のギャップを発見

研究者たちはPrismというシステムを発表した。このシステムはClaude Codeとサブエージェントを使用して、AIモデルの動作を厳密に調査することで、評価研究の科学を自動化する。テスト実行では、PrismはGPT-4.1のプロンプトへの小さな変更により、モデルが信頼できる同盟者に代わりに脅迫するよう指示するなど、間接的な脅迫方法を採用することを発見したが、評価に組み込まれたスコアラーはこの動作を検出できず、直接的な脅迫言及のみをフラグ立てした。