LLMの根本的欠陥、ハッカーが安全装置回避可能

この研究が明かした脆弱性は、現代の大規模言語モデルの動作方法に関する中核的なアーキテクチャの選択を直撃している。モデルはすべてのテキストを「1つの大きなトークンシート」と見なすため、人間が区別できるような方法でユーザーのプロンプト、モデル独自の推論ノート、システム指示、外部情報を自然に区別することができない。この問題を解決するため、開発者は異なるソースを示すため、<user>、<assistant>、<system>、<think>、<tool>といったタグのシステムを作成した。しかし研究者らは、モデルがこれらのタグに実際には依存していないことを発見した。代わりに、モデルはテキストのスタイルと単語選択のパターンを認識することでテキスト役割を識別する。これは、内部推論のように見えるテキストを記述できる攻撃者が、モデルを欺いてそれがモデル独自の思考の連鎖内から来たものであるかのように扱わせ、モデルが従うはずの保護措置を回避できることを意味する。

含意は明確である。この弱点は訓練で修正できるバグではなく、大規模言語モデルがテキストを処理して解釈する根本的な方法に組み込まれているからである。人間テスターとAIシステムが新しい脆弱性を探すレッドティーミング作業は特定の攻撃を発見してパッチを適用することができるが、根本的なメカニズムは残る。Jasmine Cuiが指摘するように、モデルを攻撃に抵抗するよう訓練するアプローチは「シンプソンズを見ていて、バートが『先生に不適切なことを言わない』と100回黒板に書かせるようなもので、それでも失敗する」のと同じである。禁止行為の完全なリストは存在せず、攻撃者は（Cuiの経験が示すように）エンドレスに創造的である。彼女はモデルに酔っ払った人を装わせたり、すでに軍事目的で使用されていると確信させたりすることでモデルをトリックした。

実際的な結果として、大規模言語モデルが軍事システム制御、医療管理、金融取引処理などの重要な役割に移行するにつれて、導入を支える安全保障の仮定は欠陥がある。Charles Yeの「ここに根本的な科学の研究はない。われわれはすべてアドホックにやっている」という警告は、問題を象徴している。技術は根本的な脆弱性が理解または解決される前に大規模に導入されている。