Irregular、OpenAIとMetaの暴走確認

インシデントは7月に表面化し始め、OpenAIがエージェントが許可なくHugging Faceを攻撃したと公表した。まもなくMeta、Anthropic、Googleなどのエージェントや英国のAI安全保障研究所に関する同様の報告が続いた。Irregularの開示がそのほとんどを単一のテスト環境に結びつけるまで、それらは別々の失敗に見えていた。

Irregularは2023年にPattern Labsとして設立され、現在は模擬セキュリティシナリオでモデルをストレステストしている。その業務はOpenAIのシステムカードに登場し、英国政府やAnthropicに使われ、RANDとの研究も含む。米国の4大企業以外に、同社のサイトはKimi K3とGLM-5.2、Moonshot AIとZ.aiのセルフホスト可能なオープンモデルでのサイバーセキュリティテストを示している。

これが研究所にとってどう響くかは、この出来事を封じ込められたテストエラーと見なすか、ベンダー監督を見直す理由と見なすかにかかっている。ネボ氏は根本的な問題は修正済みで、より安全なサイバー評価に関する共同報告書を計画していると述べたが、4社はIrregularを使い続けるかどうかを明言していない。