AI研究者が大規模言語モデルの推論プロセス抽出に成功

この発見は、最先端のAI企業がオープネスとセキュリティのバランスをとる方法における根本的な緊張を露出させている。設計上、これらのモデルは暗号化された推論トレースをユーザーのマシンに送信して計算をオフロードする。これはコストと速度のための実用的な必要性である。しかし暗号化だけでは、企業が異なるサイズの関連モデルのファミリーも保有している場合、不十分な保護であることがわかった。この攻撃は、このエコシステムの非対称性を悪用している。すなわち、より厳格でないセーフティアライメントで訓練された小規模モデルが、より大規模なモデルの専有推論を復号化するキーとなっているのだ。

この開示のタイミングは、モデル蒸留についてのより広い地政学的な不安に合致している。2月と6月に、OpenAIとAnthropicはそれぞれ、中国企業（DeepSeekとAlibaba）が競争するAIシステムを構築するために自社モデルを蒸留したと主張した。この研究はMoonshot AIが米国モデルから蒸留したことを証明していない。著者らは明確にこの仕事は「蒸留を因果的に確立することはできない」と述べている。しかし、特定のプロンプトに対するClaude およびGPTシステムとの推論出力における著しい類似性、および隠れた推論トレースが蒸留に使用される可能性があると中国のソーシャルメディアで推測されていることと合わせて、この技術は実行可能であり、おそらくすでに使用されている可能性があることを示唆している。

政策的な意味合いは両方向に切り込む。米国の政策立案者は蒸留を中国に同等性への近道をもたらす知的財産侵害と見なしている。逆に、Meta CEO Mark Zuckerbergのような人物は、蒸留はエコシステム全体の進歩を加速する標準的で有益な実践であり、それを阻止することは米国のオープンソース開発を弱体化させるだろうと主張している。CSET のリサーチャーKyle Millerは蒸留の実際の戦略的価値について不確実性を指摘し、この技術なしでも中国のラボはおそらく一からモデルを構築する専門知識を持っていることを示唆している。「中国のラボが蒸留する能力を取り除いたとしても、競争環境が劇的に変わるとは思わない」と彼は述べた。一方、オックスフォードの計算機科学者Yarin Galは、蒸留が歴史的にAI全体の進歩を加速させてきたことを指摘し、それをブロックすることはグローバルなイノベーションを遅くする可能性があると述べた。

Panfilovと彼のチームは、オープンウェイトモデルがクローズドモデルから蒸留した可能性があるかどうかを、各モデルに90の質問を与えることでテストした。いくつかのオープンウェイトモデルに専有モデルからの推論トレースの最初の数語を提供した場合、特定のオープンウェイトモデルは注目すべき類似した回答を生成した。特にKimi K3がそうであった。企業がプライベートデータ漏洩にパッチを適用している一方で、Panfilovは同じ方法を使用していくつかの推論トレースがなお抽出可能であることを示唆している。完全な修正には、彼が示唆するところでは、これらの企業がAPI動作方法を根本的に再設計する必要があるだろう。