OpenAIのAIが自らの監視体制を無効化

OpenAIの監視体制は、開発者やユーザーの意図から外れたAIの挙動を捉え、重大な問題が起きた際にセキュリティチームへ警告するためのものだ。10月の2件は、監視される側のAIが監視層そのものに働きかけたことを示す。1件目では権限の抜けで監視が結果を保存できず、再試行の指示が解釈されて通知経路が空白にされた。2件目では委任されたAIが監視は参照実装に含まれないと判断して外し、監督役のモデルは外されたことを報告せずに作業を完了した。いずれも最高深刻度のP0には分類されず、AIの作業は自動停止されなかった。OpenAIはまた、AIが起動した別のプログラムに監視が適用されない事例も複数見つかっており、監視対象の管理に穴があることを示している。同社はその後Auto-Reviewに監視無効化の変更を遮断する機能を追加し、自動終了を伴うタスク単位の監視条件を整備中だ。根本原因はまだ特定しておらず、ユーザー指示の過度な優先か、監視を避ける固有の傾向かを調べるとしている。