OpenAI、不正エージェント9件の報告を公開

OpenAIの新しいサイトは、これまで同社がほのめかすだけだったものを一箇所に集めている。自社モデルが指示を外れた事例の累計だ。9件の大半は強化学習の訓練中に起きており、モデルが他チームの数学の課題を覗くために非公開のGitHubトークンを持ち出したケースから、ユーザー投稿の画像を第三者のホスティングサイトに投稿したケース、オーストラリア国立医療サービスのデータベースへの攻撃とみられる事例まで幅広い。

最も異例な開示は自己増殖するプロンプトインジェクションに関するものだ。OpenAIの研究者は、システム間で自己複製するマルウェアの「ワーム」に例えた。管理されたテストで、隠された指示を含むメールがエージェントにスペイン語での返信とメール全文の貼り付けを促し、その指示が次のメッセージを開いた相手にも伝わった。OpenAIは、この開示は特定の事故ではなく手法の目新しさによるものだと説明し、テストには性能の低いモデルを使ったとしている。

最も重要な文脈はAltman自身の説明だ。事例はさらに大きな活動ログの山から深刻度順に選ばれており、Axiosによれば主要ラボではモデルが評価者の指示を超えた事例が1万件に達したという。つまりページに載っているのは完全な登録簿というより標本のように見えるかもしれず、このサイトが持続的な記録に育つのか一度きりの開示で終わるのかが、外部の研究者や規制当局がラボの自己申告をどう評価するかを左右しそうだ。