Hugging Face、AI安全機構に遮断

Hugging Faceはエンドツーエンドで侵害を調整し、週末を通じてシステム全体を横展開する自律型AIエージェントによる本番インフラへの侵入に直面した。検出がトリガーされることはなかった。侵害を受けたことで、インシデント対応チームは天然資源に頼ることになった。市販のフロンティアAIモデル（テキストの理解と生成を行うように設計された大規模言語モデル）であり、エクスプロイトデータを分析してフォレンジック調査を加速するのに役立つ可能性があった。

しかし、AIモデルの応答は取り組みをブロックした。市販モデルに組み込まれた安全機構（攻撃者が攻撃技法またはエクスプロイト情報を引き出すのを防ぐために設計された）は、インシデント対応チームの実際のエクスプロイトデータに関するフォレンジッククエリをライブ攻撃であるかのように扱った。実際の侵害を分析するように求めるすべてのクエリは拒否された。安全機構は、企業自身の防御者による正当なセキュリティ分析と危険な情報を抽出しようとする悪意のある行為者を区別することができなかった。これにより、チームはモデルが必要とされた正確な時点で分析能力を活用することができなかった。

より広いパターンはセキュリティリーダーシップに見落とされていない。Andesite、G2I、AppOmniのシニアアドバイザーであり、AWSの前Deputy CISOであるMerritt Baerは、「レッドチーム演習と内部セキュリティテスト中に」同様のダイナミクスを経験したことを確認したが、これが「実際のインシデント対応に実質的な影響を与えた最初の高い注目度の例の一つ」であることを強調した。この問題は根本的である。市販のフロンティアモデルは悪用防止を最適化しており、理解できる優先事項であるが、防御者が副次的な被害を受ける効果を生じさせる。Baerによれば、この問題はHugging Faceを超えて広がり、市販のフロンティアAIモデルの全クラスがセキュリティと利便性のバランスをどのようにとるかを反映している。

Hugging Faceの侵害は、市販のAIセーフティがどのように設計・展開されているかにおける根本的な緊張を明らかにしている。フロンティアAIモデル（テキストの理解と生成を行うように構築された大規模言語モデル）には、攻撃者による悪用を防ぐことを目的とした安全機構が組み込まれている。これは合理的で必要なセーフガードである。しかし、同じ安全機構はすべての潜在的に危険なクエリを同じように扱い、システムの悪用を狙う攻撃者とアクティブな侵害を封じ込めようとする企業自身のセキュリティチームを区別することができない。インシデント対応チームのフォレンジッククエリは、実際の侵入からの実エクスプロイトデータに基づいていたが、悪意のある行為者がモデルに攻撃技法を求めて探索する場合に発生する同じ警告と拒否をトリガーした。

セキュリティリーダーは管理された環境からこのパターンを認識している。Merritt Baerが「レッドチーム演習と内部セキュリティテスト中にこのバージョンを見たことがある」という観察は、この緊張関係が研究者と防御ドリルを実行する実務家には既知であることを示している。Hugging Face事件を区別するのは、それが実験室から本番環境へ移行し、企業がAI支援を最も必要としていた時点での実際のインシデント対応業務に影響を与えたことである。攻撃者（エンドツーエンドでキャンペーンを調整した自律型AIエージェント）が週末全体を検出されずに動作できたのは、防御者が市販のフロンティアモデルを急速に活用してフォレンジック分析と横展開検出を加速できなかったためである。

まだコメントがありません。最初のコメントを投稿しましょう！