AIサービスで他利用者のデータ混入を公表

Cloudflareによると、漏えいは二つの問題が重なって生じた。GLM-5.3はコンテキスト長1,048,576トークンで公開されたが、GPU側のKVキャッシュは681,280トークンしか保持できず、Cloudflareはこの不一致を公開前に把握していたものの、エンジンが過大なプロンプトでエラーを返すと想定していた。別に、プロンプト処理と回答生成をGPU間で分割する分離構成で動くオープンソースの推論エンジンSGLangのバグにより、拒否フラグがデコード側に渡らなかった。デコード側は前のリクエストの残留メモリを読み取り、回答を生成した。Cloudflareはまた、性能上の理由からKVキャッシュのページがリクエストごとにゼロ化されていないことも明かした。モデルは9月9日に停止され、9月10日に修正済みの設定で再公開された。分離構成でSGLangを運用する事業者に対し、Cloudflareはv0.5.22以降への更新を推奨している。この事故は、HTTP 200の応答が誤った内容を含み得ること、カナリアマーカーや送信前の秘匿化といったクライアント側の検査がデータ混入の検知や防止に役立つことを浮き彫りにした。