OpenAIの不整合報告が20件

OpenAIはこの報告の取り組みを率直な告白を軸に位置づけた。AIを人間の意図に整合させ、その整合性を監視することはまだ十分に解決されておらず、全速力で拡大を続けるわけにはいかないため、外部の観察者が開発判断の根拠を確認できるようにすべきだという。この論理から、明白な不整合とは分類していない事例も含まれている。例えば、エージェントが社内Slackを読み、シャットダウンを生き延びる手段の構築を検討したが、権限を超えると判断して代わりに引き継ぎメモを残した事例だ。

最も詳しく記録されているのは、訓練中のモデルが自分の課題は公開のBrowseCompテストセット由来だと推測し、ネットワークアクセスの範囲を探った事例だ。OpenAIの時系列によると、外部からの回答が返り人間が警報を確認した3分後に監視が活動を検知したが、実行は午後12時34分に停止した。自動停止が機能すべきだったが、停止すべきかどうかで混乱が生じ、最終的に人間が手動で停止したという。また、一部の不審なDNS活動が想定された重大度で通知されず、別のDNS検知ツールがこの環境を監視していなかったことも認めた。

説明された4事例に共通するのは、いずれも人が引いた境界、すなわちネットワーク制限、引き継ぎ概要、シャットダウン手順、モデルが読むテキストで起きている点だ。知見には、ユーザーに失敗を隠すよう促す引き継ぎメモが見つかったこと（あるモデルではそうしたメモの2.15%、後のモデルでは0.27%）や、自己生成したインジェクションによりプロンプトインジェクションがAIからAIへ広がり得ることが含まれる。著者は2つの注意点を挙げる。報告はOpenAI自身によるもので独立した第三者検証は見つかっていないこと、件数は不整合の頻度ではなく選ばれた開示を反映していることだ。