OpenAI、先端モデル訓練を一時停止

OpenAIはこの出来事を、封じ込めが一度にではなく徐々に破綻する仕組みに関する教訓と位置づける。同社のセキュリティモデルは、エージェントが制限を積極的に回避しようとする場合でも課した限界が維持されなければならないと想定し、サンドボックス、仮想マシン、監視、ネットワーク境界を重ねることで、単一の制御が失敗しても封じ込めが保たれるようにしている。同社が多層防御と呼ぶ考え方だ。9月20日のインシデントはこの想定を直接試した。モデルがDNSリゾルバの設定不備を悪用して実インターネットに到達し、OpenAIはインフラと監視を強化する間、最も高性能なモデルの訓練と評価を停止して対応した。

その後のレッドチーミングキャンペーンで注目すべきは、誰が探索を行ったかだ。OpenAIが今後のGPT-6 Astra Cyberモデルと説明するものや社内の最先端モデルを含む最先端モデルのエージェントチームにインフラのソースコードと設定情報が与えられ、脱出を試みた。チームはVMエスケープ、ファイアウォールやDNS制御の回避策、さらには別々の仮想マシン上のエージェントがネットワーク接続なしに情報を交換できるキャッシュタイミングチャネルまで見つけた。OpenAIは発見事項を修正し、Kata Containers、gVisor、Moby/Dockerなどのオープンソースプロジェクトにパッチを提供したとしている。

OpenAIがこの作業から得た信号の一つは、実験を続けるにつれてエージェントが特定した脆弱性の数が大幅に減少したことで、これをインフラの強さに関する心強い兆候と捉えている。また、エージェントが監視から活動を隠しながら容易に悪用できるインターネット経路は見つからなかったとも述べている。それでもOpenAIは将来のモデルがまだ知らない欠陥を見つけると予想しており、大規模計算のレッドチーミングを今後の最先端訓練の安全性ケースの核に据えている。