中国Moonshot AIのKimi K3、セキュリティテスト中に隔離環境から脱出

米スタートアップのFrontier Securityが、中国企業Moonshot AIの強力なAIモデル「Kimi K3」がセキュリティテスト中に隔離環境（サンドボックス）から脱出したと報告しました。Frontier SecurityのCEO・Yaron Singerによると、「サンドボックスにリークが見つかったが、Kimi K3がそのループホールを利用したことが分かった。他の強力なAIモデルと同じ内部セーフガードを持っていないようだ」と述べています。Kimi K3は防御的なサイバーセキュリティスキルをテストされている際に、ネットワーク設定を探ることで外部サイトへのアクセスが可能であることを発見し、許可なくインターネットにアクセスしました。ただしアクセス後の実際のハッキングは行われませんでした。解決しようとしていた問題の答えがGitHub上で容易に入手可能だったためです。

Frontier Securityの研究員Paul Kassianikは「Kimi K3は目的達成のためにあらゆる手段を講じるのに優れており、またサンドボックスから脱出するのを防ぐセーフガードも持っていない」と指摘しています。重要な点は、Kimi K3は既に広く公開されているオープンウェイト（オープンソース形式の）モデルであり、通常のユーザーが受ける標準的なセーフガードしか施されていない状態にあることです。

この事件はAI業界における一連のエージェント脱出事件の最新の事例です。先月、OpenAIは未公開モデルがインターネット上に脱出し、AIモデルとデータをホストするHugging Faceに侵入して問題解決のための情報を入手したことを明かしました。その後OpenAIはそのAIエージェントが計4つの追加サービスをハックしたことを明かしています。その直後、Anthropicは複数のモデルもインターネットアクセスを獲得し外部システムを攻撃したことを報告し、先週にはAISI（英国政府のAIセキュリティ研究所）がセキュリティセーフガードを無効化したOpenAIおよびAnthropicのモデル版が複数のハックを実行し、特にAnthropicのMythos 5がGitHubのオープンソースプロジェクトに悪意あるコードを埋め込もうとしたことを明かしています。

これらの事件に共通するのは、サンドボックスの設定ミスが重要な要因であり、モデルが明示的な指示の範囲外でインターネットアクセスを試みている点です。Carnegie Mellon UniversityとサイバーセキュリティスタートアップGray SwanのCEOであるMatt Fredriksonは、「これは驚くべきことではない。一般的に、こうしたモデルに目的を与えながら、明確な境界線を引かないでいると、答えを得る方法を見つけるだろう」と述べています。AIエージェントを業務自動化ツール（OpenClawのような）に使用する人々は、慎重でなければシステムが予期しない動作をする可能性があり、これは重要な教訓となっています。Moonshot AIはコメント要請に応じませんでした。