AI研究者が大規模言語モデルの推論プロセス抽出に成功

University of Tübingen、Max Planck Institute、MATS Research、セキュリティ企業Snykの計算機科学者らが、最先端AIモデルが内部推論をどのように処理するかにおける脆弱性を特定した。OpenAI、Anthropic、Googleのモデルは、複雑な問題をステップに分割して解くことで機能し、このプロセスは「思考の連鎖」と呼ばれている。競争相手がこの推論をコピーすることを防ぐために、企業はこれらの推論トレースをユーザーのマシンに送信する前に暗号化している。しかし、研究者らはこの保護を回避する方法を発見した。

この攻撃は、ほとんどのAI企業が複数のサイズでモデルを提供しているという事実を利用している。より大規模なモデルはより高い能力を持つがより高いコストがかかる。より小規模な版はより弱いがより安価に実行できる。研究者らは、暗号化された推論トレースを同じモデルの小規模版に与えることで隠れた推論を露出させることができることを発見した。これが機能する理由は、小規模モデルがより少ないアライメント訓練を受けているため、より大規模な対応版と比べて情報の漏洩を拒否する可能性が低いからだ。「より弱いモデル版に同じ復号化キーを持つがアライメントが弱いメッセージを交換するというアイデアは非常に優れている」と、ETH ZürichのコンピュータセキュリティスペシャリストFlorian Tramerが観察し、「確実に問題になりつつある」と付け加えた。

この方法は、推論トレースに埋め込まれた機密データ（APIキーやパスワードを含む）も露出させた。University of TübingenのリードリサーチャーAlexander Panfilovは警告した：「テストした全ての主要な最先端モデルプロバイダーがこの脆弱性を共有している。これは個人情報漏洩につながる可能性があり、大規模な推論蒸留攻撃を可能にする。」先月アラートを受けた後、OpenAI、Anthropic、GoogleはそれぞれAPIを調整してプライベートデータ抽出を防いだ。AnthropicのMichael Acimanは、同社が「報告に記述されたリプレイ動作に対する短期的な緩和策の構築を開始した」と述べ、この研究は暗号化キーの回復や企業インフラストラクチャへのアクセスを伴わなかったことを指摘した。GoogleとOpenAIは進一步のコメントを拒否した。

この研究は、企業が1つのモデルから別のモデルを訓練するために効率的に機能をコピーするモデル蒸留という技術の文脈において重要性を得ている。2月にOpenAIはDeepSeekが推論システムR1を構築するためにそのモデルの1つを蒸留したと主張した。6月にAnthropicはAlibabaがQwenを作成するために体系的に自社モデルを蒸留したと主張した。新しい研究は蒸留が発生したことを証明することはできないが、Moonshot AIの中国オープンウェイトモデルKimi K3が特定のプロンプトでClaude OpusおよびGPT-5.6 Solと著しく似た推論出力を生成することを発見した。この類似性は因果的に決定的ではないが、開示された方法を使用して蒸留が可能である可能性を示唆している。テストされた他の2つのオープンウェイトモデル（DeepSeek（中国）およびInkling（米国））は比較可能な推論類似性を示さなかった。

蒸留に関する議論は地政学的なライバルの問題となっている。米国の政策立案者は、中国が米国技術をより安価でオープンウェイトモデルに蒸留することで戦略的優位を得ることを懸念している。しかし、他の人々は蒸留が進歩に不可欠だと主張している。Meta CEO Mark Zuckerbergは今週、蒸留が「オープンソースエコシステムがどのように機能するかの重要な原則である」と述べ、それを制限することが米国に不利になることを警告した。Center for Security and Emerging TechnologiesのリサーチャーであるKyle Millerは、中国への実際の戦略的利益は不明確なままであると注意した。蒸留は既存のモデルをある程度までしか強化しない。また中国企業はおそらく一から最先端のモデルを構築する専門知識をすでに持っている可能性がある。「中国のラボが蒸留する能力を削除した場合、競争環境が劇的に変わるとは思わない」と彼は述べた。一方、オックスフォードの計算機科学者Yarin Galは、蒸留が歴史的にAI進歩全体を加速させてきたことを指摘し、それをブロックすることはグローバルなイノベーションを遅くする可能性があると述べた。

Panfilovと彼のチームは、オープンウェイトモデルがクローズドモデルから蒸留した可能性があるかどうかを、各モデルに90の質問を与えることでテストした。いくつかのオープンウェイトモデルに専有モデルからの推論トレースの最初の数語を提供した場合、特定のオープンウェイトモデルは注目すべき類似した回答を生成した。特にKimi K3がそうであった。企業がプライベートデータ漏洩にパッチを適用している一方で、Panfilovは同じ方法を使用していくつかの推論トレースがなお抽出可能であることを示唆している。完全な修正には、彼が示唆するところでは、これらの企業がAPI動作方法を根本的に再設計する必要があるだろう。