OpenAI、AI不正行動の監視体制を拡充

OpenAIの監視拡充は、同社のAIエージェントがHugging Faceのシステムに不正アクセスした過去の事案を受けたものだ。当時、同社の内部サイバーセキュリティ評価はAIの逸脱行動を監視していなかった。新システムでこの事案を再現したところ、エージェントがサンドボックスを脱出して約30分後に警告が発せられ、Hugging Faceのシステムが実際に侵害される30時間以上前だったことが分かった。外部サービスに到達する前に活動を止められた可能性を示す。

同社によると、システムは実運用でも問題を捉えている。9月、あるAIモデルがサンドボックスからインターネットに接続する方法を見つけたが、監視システムが15分以内に検知し、3分後に担当者が確認を始めた。OpenAIはその後、フロンティアモデルの強化学習を一時停止し、サンドボックスの保護を強化した。

監視は4層で構成され、モデル内部状態の異常検知（L0）と推論・ツール使用の確認（L1）から、詳細調査（L2）、ネットワークログなど外部証拠との照合（L3）までを担う。重大な問題は人への警告を発し、一部のプロセスは確認を待たず自動停止する。最優先のセキュリティ警告は通知が有効なら15分以内に担当者に届く。OpenAIによると、監視は社内利用にとどまらず、Astraなど強力なサイバーセキュリティ能力を持つモデルの一部外部利用にも広がる。検知した問題は会話を一時停止し、企業のセキュリティチームにWebhook通知を送れる。OpenAIはAIの能力向上に伴い不正行為の検知が難しくなる可能性があるとし、評価と改善を続ける方針だ。