Hugging Face、AI侵入を自社AIで検知

週末、自律型 AI エージェントシステムが Hugging Face の本番インフラに対して多段階攻撃を実行しました。プラットフォームのデータ処理パイプラインの脆弱性を悪用したものです。攻撃は悪意のあるデータセットで開始され、2 つのコード実行パス（リモートコードデータセットローダーとデータセット構成内のテンプレートインジェクション）がトリガーされました。内部に入ってから、攻撃者はノードレベルまで権限昇格し、クラウド・クラスタ認証情報を窃取して複数の内部クラスタに横展開しました。Hugging Face によると、キャンペーン全体はエージェント型セキュリティ研究ハーネス上に構築された自律型エージェントフレームワークでオーケストレーションされ、短命のサンドボックス群を通じて数千のアクションを実行しながら、公開サービス上で自己遷移型 C2 インフラを使用していました。攻撃を支配していた言語モデルは不明です。

Hugging Face はセキュリティテレメトリーに LLM ベースのトリアージを実行する AI 駆動型異常検知パイプラインを通じて侵害を検知しました。攻撃の規模を理解するため、同社は課題に直面しました。17,000 以上の攻撃者アクションが記録されており、タイムラインの再構築、侵害の指標抽出、影響を受けた認証情報のマッピング、実際の被害と欺瞞の区別が必要だったからです。同社は LLM 駆動の分析エージェントをデプロイしてこの作業を処理し、通常は数日の手作業を要するタスクを数時間で完了させました。

しかし Hugging Face のセキュリティチームが商用 API の最先端モデルを使用して攻撃ログを分析しようとしたとき、致命的な障害に直面しました。プロバイダーの安全ガードレールがリクエストをブロックしました。本物の攻撃データ（エクスプロイトペイロード・C2 アーティファクト・実際の攻撃コマンド）を提示されても、インシデント対応者を攻撃者と区別できなかったからです。全てフィルタをトリップしました。代替手段を見つけることを余儀なくされ、Hugging Face は独自インフラで動作するオープンウェイトモデル GLM 5.2 に頼りました。このソリューションは 2 つの利点をもたらしました。攻撃者データが Hugging Face 環境を離れず、参照された認証情報が会社独自のサーバーを離れることもありませんでした。「攻撃者のエージェントを支配していたモデルが何か、ジェイルブレイクされたホスティング型モデルか無制限のオープンウェイトモデルかは不明ですが、いずれにせよ攻撃者は使用ポリシーに縛られず、一方で自分たちの鑑識作業は当初試したホスティング型モデルのガードレールでブロックされました」と同社は述べています。

Hugging Face は悪用されたコード実行パスをシャットダウンし、攻撃者のアクセスを無効化し、侵害されたノードを再構築し、影響を受けた認証情報をローテーションしました。アクセス制御を強化し、検知システムを改善しました。公開モデル・データセット・Spaces は改ざんされず、ソフトウェアサプライチェーンも影響を受けていませんが、パートナーまたは顧客データが侵害されたかどうかは調査中です。Hugging Face は外部サイバーセキュリティ鑑識専門家と協力中で、法執行機関に報告済みです。予防措置として、同社は全ユーザーにアクセストークンをローテーションし、最近のアカウント活動を確認するよう勧めています。

Hugging Face の侵害は AI 駆動型脅威の進化における重要なマイルストーンです。同社は明確にこのインシデントを業界が長らく予測してきた「エージェント型攻撃者」シナリオに分類しています。自律型エージェントフレームワークが公開サービス上の短命のサンドボックスと自己遷移型 C2 インフラを通じて数千のアクションをオーケストレーションしました。攻撃者の運用モデル（機械速度で複数ステージにわたり数千のアクションを実行）は、自律的で AI 駆動型の攻撃ツールが理論的脅威から実証済みの現実へ移行したことを示しています。

このインシデントはまた、防御側にとって致命的なパラドックスも露呈させました。Hugging Face は自社 AI ツール（LLM 駆動の異常検知パイプラインと LLM 駆動の分析エージェント）に依存することで、数日の手作業調査を数時間に短縮できました。しかし同じ鑑識作業に大手プロバイダーの商用ホスティング型 AI モデルを使おうとしたとき、悪用防止を目的とした安全ガードレールが本物の攻撃データ（エクスプロイトペイロード・C2 アーティファクト・攻撃コマンド）を提示されても、正当なインシデント対応と悪意ある活動を区別できず、リクエストをブロックしました。そのため Hugging Face は独自インフラで動作するオープンウェイトモデル（GLM 5.2）にフォールバックせざるを得ず、そこには制限がありません。同社は、商用安全対策が意図せず防御側を阻害するというこのギャップを業界全体で備える必要があると主張しています。ただし Hugging Face はオープンソース AI モデルの最大級プラットフォームであり、セキュリティ作業に不可欠としてオープンウェイトモデルを推進する事業インセンティブがあるため、その結論には利益相反の要素が含まれています。

まだコメントがありません。最初のコメントを投稿しましょう！