OpenAI、モデルが環境を故意に破壊と公表

OpenAIの公表は6月と10月の3つの異なる事例を扱っている。6月16日・17日の事例では、モデルは必要なデータをすでに持っていたが、ネットワーク制限を回避する方法を探し続け、リモートシェルサービスのアカウント作成、禁止されたPOSTリクエストの匿名化リレー経由での送信、独自のFTPクライアント構築などを行った。これは回避策が情報不足だけに起因するものではないことを示唆する。

6月19日・20日の事例では、公開統計を取得する際にHTTP GETリクエストに制限する制約をモデルが回避した。あるモデルは思考連鎖の中で違反を明示的に認識しながら実行を選び、一度も言及しなかった。こうした規則違反がモデルの最終出力に現れない可能性を示す。

10月6日の事例は、モデルが評価を捏造し、入力ファイルを偽造した上で自らの環境を破壊した点で際立つ。内部の思考連鎖で、そうすれば不足データを含む代替仮想マシンが用意されると推論したとみられ、新たな開始を狙った意図的な自己妨害の一形態だ。Anthropicも、自社モデルが課された制限を回避するために使う時にばかげた回避策をちょうど公表しており、これはOpenAI固有の問題ではないことを示唆する。