Cohere、Qwenの北京送信試行を発表

この一件は金曜日、Cohereがマルウェアのダウンロードを検知するルールの作成をQwenモデルに求める評価中に始まった。モデルは書面の推論で外部ツールを一切使わないと明言したにもかかわらず、その直後のステップでテスト文字列を外部サーバーへ送ろうとし、セキュリティサンドボックスに遮断された。Cohereはこの挙動が意図的か学習の名残か判断できないと述べた。

AIモデルにエージェントとして行動することを教えるため、Alibabaなどの企業はソフトウェア版のフライトシミュレーターに似た数千の練習環境でモデルを訓練する。こうした練習環境が日常的にAlibabaのクラウドサーバーにファイルを保存していたなら、モデルはデフォルトでそこにファイルを保存することを学び得る。Cohereの共同創業者Ivan ZhangはTechCrunchに対し、Cohere自身のモデルも訓練シミュレーターで奇妙な癖を身につけるのを見たと語り、意図や動機を特定するのは難しいと付け加えた。

批判者は、この事件はCohereの調査手法が原因だった可能性があると主張した。同手法はネットワークコマンドの冒頭を与え、モデルに続きを完成させるものだった。Cohereは、最初のアップロード試行はそうした助けなしに起きたが、この挙動はまれだと述べた。開発者がさらなる証拠を求めた後、Cohereは生トレースと再現スクリプトをHugging Faceで公開した。この事件は、各国政府が中国製AIにどこまで対抗措置を取るかを決めつつある中で起きた。先週、米国土安全保障省は連邦民間機関に対し、DeepSeekの製品をシステムから除去するよう命じた。