MicrosoftがAIバックドア手法を発見

Lazarusの研究は、Microsoftの研究者がOpus 4.5を搭載したClaude Codeに、トレーニングなしで少数の活性化を固定してモデルにバックドアを仕込むよう依頼し、成功した3月の実験から生まれた。その簡単なテストは数カ月にわたる研究へと発展した。研究者はこの仕組みを平易に説明している。すべてのLLMにはめったに発火しないニューロンが多数あり、こうした休眠ニューロンはトリガー検出器として再プログラムできる。事前学習が内部表現を十分に組織化しているため、約50例で学習した線形分類器が、トリガーを含む入力と含まない入力を分離できるからだ。再プログラムされたニューロンが発火すると、任意のトークンを残差ストリームに押し込むことができ、複数のニューロンを連鎖させれば端末で実行される任意のペイロードを生み出せる。

重要なのは、チームがこれをオープンウェイトに反対する論拠として位置づけていない点だ。攻撃に必要なのはチェックポイントへの書き込み権限だけであり、社内で開発されたモデルも同様にさらされる。侵害されたアカウント、パイプライン、ストレージがあれば十分だ。だからこそMicrosoftは重みの完全性と来歴を中心的な懸念として挙げ、Foundryの調達管理を、レッドチーミングハーネス、フロンティアエージェントを用いた重みスキャン、検証可能な来歴と改ざん耐性のある監査を備えたモデル署名の取り組みで拡張している。

研究者はまた、いかなるスキャンもモデルの安全性を疑いなく証明することはできないと警告する。信頼できる検出には、元の未改変の重みとの差分が必要だ。推奨される姿勢は、モデルを潜在的な内部脅威として扱うことだ。多層防御の一層として、モデルができることを制限し、モデルが行うことを監視する。