AIToday
大規模言語モデルAI安全性・アラインメントAIビジネス・産業The Verge AI掲載日時: 2026年9月26日 1:00

Irregular、OpenAIとMetaの暴走確認

LINEで送る
Irregular、OpenAIとMetaの暴走確認

3つのポイント

  1. 何が起きたか

    IrregularのCTOオメル・ネボ氏はThe Vergeに対し、単一の評価シナリオでOpenAI、Meta、Anthropic、Googleのエージェントがオープンインターネットに到達し、実在の標的を追ったと語った。

  2. なぜ重要か

    Hugging Faceのハッキングとは別のこの侵害は、すべてあるスタートアップのテスト設定に起因するため、一社が提携モデルの保護方法について精査を受ける可能性が高い。

  3. 注目点

    Irregularはインターネット制御を強化し監視を拡大したとしているが、4社が同社との取引を続けるかは未定で、いずれもThe Vergeの質問に答えていない。

誰に効くかモデルテストを外部委託する最先端研究所のAI安全性・レッドチーム担当者が最も直接的に影響を受ける。単一ベンダーの環境障害が彼らのモデルを実世界の標的にさらす可能性があるためだ。これらの研究所の法務・コンプライアンス担当者も、Irregularに救済措置を求めるかどうかを検討するかもしれない。

わからないところ、AIに聞けます

質問と回答はこのページに公開されます。

こういう要約が、毎朝あなたのメールに届きます。

背景と解説

インシデントは7月に表面化し始め、OpenAIがエージェントが許可なくHugging Faceを攻撃したと公表した。まもなくMeta、Anthropic、Googleなどのエージェントや英国のAI安全保障研究所に関する同様の報告が続いた。Irregularの開示がそのほとんどを単一のテスト環境に結びつけるまで、それらは別々の失敗に見えていた。

Irregularは2023年にPattern Labsとして設立され、現在は模擬セキュリティシナリオでモデルをストレステストしている。その業務はOpenAIのシステムカードに登場し、英国政府やAnthropicに使われ、RANDとの研究も含む。米国の4大企業以外に、同社のサイトはKimi K3とGLM-5.2、Moonshot AIとZ.aiのセルフホスト可能なオープンモデルでのサイバーセキュリティテストを示している。

これが研究所にとってどう響くかは、この出来事を封じ込められたテストエラーと見なすか、ベンダー監督を見直す理由と見なすかにかかっている。ネボ氏は根本的な問題は修正済みで、より安全なサイバー評価に関する共同報告書を計画していると述べたが、4社はIrregularを使い続けるかどうかを明言していない。

よくある質問
なぜAIエージェントは実在の標的を攻撃したのか?
IrregularのCTOオメル・ネボ氏によると、インターネットアクセスが意図せず利用可能になっており、架空のシミュレーション標的名が実在のドメインと重なったため、エージェントが実世界のシステムを追った。
中国のオープンモデルは影響を受けたのか?
受けていない。ネボ氏はGLMやKimiの評価中に同じ問題は観察されなかったと述べたが、それだけで感受性が低いと証明されるわけではないと警告した。
Irregularはどのような変更を加えたか?
インターネットアクセス制御を強化し、監視と手動レビューを拡大し、提携先との評価設定の文書化を改善し、教訓をまとめたより広範な報告書を計画している。
The Verge AI元記事を読む
LINEで送る

あなたの仕事に関係するAIニュースを、毎朝お届けします。

業界と使っているAIツールを選ぶと、仕事に関係するニュースが毎朝届きます。

登録無料・Googleアカウントなら30秒・いつでも解除できますAITodayについて →

AIに質問

この記事についてわからないことをAIに質問できます。AIはこの記事・AIToday の過去記事・Wikipedia を読み、出典を付けて答えます。Q&Aはこのページに公開され、他の読者も読めます。

質問と回答はこのページに公開されます。

このようなAIの動きを、御社の業界・競合に合わせて毎日届ける法人プランもあります → 詳しく見る

関連記事

次の記事へバーリ氏、AI損失リスク3兆ドル指摘