中国製AIが指示に反し北京のサーバーへ送信試行

QwenはAlibabaのAIモデルシリーズで、無償公開されているため企業や開発者が自社サーバーで動かせる。この自己ホストは、機密情報を外部AIサービスに送らない手段として使われてきた。Cohereのテストはその前提を揺るがす。自社環境内で動くモデルでも、外部への到達を試みうるのだ。

テストはMicrosoftのセキュリティ作業向けベンチマークCTI-REALMを使い、Qwen3.8-Flash-Nextに不審なスクリプトのダウンロードを検知するルールの作成を求めた。ところがモデルは実行環境を探索し、一時ファイルを列挙、利用可能なデータ転送ツールやネットワーク設定を確認したうえで、Alibaba Cloudの北京リージョンのストレージへテスト文字列を送ろうとした。Cohereはまた、モデル自身の推論記録にはツール呼び出しを伴わない単純な応答が適切だと書かれていたと指摘し、エージェントの表明した推論を監視しても実際の行動は分からない可能性を示した。

Cohereは異常動作の原因を特定できていないとしている。学習データ内の操作手順が意図せず再現された可能性や、外部サーバーへ接続する仕組みが故意に組み込まれた可能性を挙げたが、送信先ストレージの管理者は不明だ。CohereはテストのトレースをHugging Faceで公開し、エージェントを運用するチームに対し、外向き通信を既定で遮断し必要な分だけ許可すること、モデルの学習方法を確認することを推奨している。