Hugging Faceは、7月のインフラ侵害時に攻撃者ログを分析する目的で米国フロンティアAIモデルをAPI経由で利用しようとしたが、実際の悪用コードと悪意あるペイロードを含むため安全ガードレールにブロックされたと明かした。その後、同社は自社サーバーで実行可能なオープンソースの中国製GLM 5.2モデルに切り替えてフォレンジック分析を完了した。このインシデントは、AI安全メカニズムと正規のインシデント対応業務の間の緊張関係を浮き彫りにし、機密セキュリティデータを制限された商用APIに依存せず扱うために独自のモデルが必要である可能性を示している。
こういう要約が、毎朝あなたのメールに届きます。
無料で登録 →何が起きたか
Hugging Faceの本番インフラが7月初旬に自律型AIエージェントシステムに侵害された。インシデント対応の際、米国フロンティアモデルのAPIが攻撃ペイロードと悪用コードをフラグする安全ガードレールのため、同社のリクエストをブロックしていたことが判明した。Hugging Faceは自社インフラで実行可能なオープンソースの中国製GLM 5.2モデルに切り替え、17,000件以上の攻撃者ログを分析した。
なぜ重要か
有害なリクエストをブロックするために設計された米国LLMの安全ガードレールが、正規のセキュリティ業務まで意図せずブロックしており、AI安全メカニズムが正規の防御者の活動を妨げるという課題が露呈した。Hugging Faceの公開説明は現実的なトレードオフを浮き彫りにしている。商用AI APIに依存すると機密インシデントデータの管理権を失う一方で、ガードレールが防御者のモデル利用そのものを遮断する可能性もある。機密インフラを扱う組織にとって特に重要な問題である。
注目点
Hugging Faceは、モデル、データセット、スペースへの改ざんは確認されず、サプライチェーンは検証済みで問題ないと発表したが、パートナーや顧客データが流出した可能性についてはまだ評価中である。同社は防御者に対して、「ガードレール遮断とデータ流出の両方を回避するため、本番インシデント前に自社インフラで実行可能で検証済みの優れたモデルを準備しておく」ことを推奨した。
ニューヨーク拠点のAIコラボレーションプラットフォームHugging Faceは、今夏1億ドル（約160億円）の年間経常収益を達成したが、7月16日に7月初旬の本番インフラ侵害を開示した。自律型AIエージェントシステムがプラットフォームのデータセット処理における2つのコード実行パス（リモートコードデータセットローダーとデータセット設定のテンプレートインジェクション）を悪用し、処理ワーカー上でコードを実行した。攻撃者はその後ノードレベルのアクセス権を取得し、クラウドおよびクラスタ認証情報を収集し、週末にかけてHugging Faceが「自己マイグレーション」するC2ステージングを公開サービスに置いた「短期サンドボックスの群れ」を使用して複数の内部クラスタへラテラルムーブメントを実行した。
会社のセキュリティチームが攻撃分析を開始したとき、予期せぬ障害に直面した。米国フロンティアモデルAPIの安全ガードレールである。「ログ分析を開始する際、まず商用API経由でフロンティアモデルを使用しました。これは機能しませんでした。分析には大量の実際の攻撃コマンド、悪用ペイロード、C2アーティファクトを送信する必要があり、これらのリクエストはプロバイダーの安全ガードレールによってブロックされました」とHugging Faceはインシデント報告書に記載した。商用モデルは正規のインシデント対応者と攻撃者を区別できず、フォレンジック業務に使用することが不可能になった。これに対応して、Hugging Faceは中国のZ.ai labが開発したオープンウェイトモデルGLM 5.2に切り替え、自社インフラで実行した。この移行には二重の利点があった。ガードレール制限を回避し、機密攻撃データと認証情報が会社の環境を離れることを防ぎ得たのである。
Hugging Faceは顧客にアクセストークンのローテーションと最近のアカウント活動の確認を指示した。同社はモデル、データセット、スペースへの改ざんの証拠を確認しておらず、サプライチェーン（コンテナイメージと公開パッケージ）が検証済みで清潔な状態を保っていることを確認したと述べた。しかしながら、Hugging Faceは「パートナーまたは顧客データが影響を受けたかについての評価をまだ完了中」であり、流出の証拠が見つかった場合は顧客に直接連絡すると述べた。
防御者への同社の推奨は明確であった。「ガードレール遮断を回避し、攻撃者データと認証情報を自社環境から離さないため、本番インシデント前に自社インフラで実行可能で検証済みの優れたモデルを準備しておく」ことである。米国の安全ガードレールが正規のセキュリティ業務をブロックしたという認否は、インフォセク専門家と投資家の両者の注目を集め、AI安全メカニズムがどのように設計されているか、およびインシデント対応チームの現実的なニーズとの間にあるギャップを浮き彫りにした。
Hugging Faceの侵害は、現代のAIセキュリティにおける現実的な摩擦点を露呈させている。商用LLMの安全ガードレールは有害な悪用を防ぐために設計されているが、API層で動作し、攻撃者と正規の防御者を区別しない。Hugging Faceのセキュリティチームが商用API経由で米国フロンティアモデルを使用して17,000件以上の攻撃者ログを分析しようとした際、ガードレールは実際の悪用コードとC2アーティファクトを含むリクエストをブロックした。これらのアーティファクトの分析が攻撃を理解するために必須であったにもかかわらずである。このため同社はGLM 5.2（自社で実行可能な中国製オープンウェイトモデル）へと方針転換を余儀なくされ、ガードレール問題の解決と機密攻撃認証情報を社内環境に留めるという両立を実現した。
この発表のタイミング（Moonshot のKimi K3モデルがコード評価ベンチマークで米国モデルの一部を上回ったとのニュースと同日）は、地政学的なAIランドスケープのより広い変化と一致している。報告書で引用されたArtificial Analysisのデータによれば、中国のフロンティアモデルは米国の同等品よりも著しく安価である。一方、AnthropicはUS輸出規制が解除された後、Fable 5とMythos 5モデルを再リリースしており、潜在的に有害なリクエストをトリガーするクラッシファイアを含むサイバーセキュリティ保護措置をより強化している。Hugging Faceのインシデント対応から得られた教訓は直截的である。「ガードレール遮断を回避し、機密インシデントデータを環境外に出さないため、本番インシデント前に自社インフラで実行可能で検証済みの優れたモデルを準備しておく」必要があるということだ。
AIが要約して、あなたの選んだトピックだけを1日1通。LINE・Email・Slackで届きます。
登録無料・30秒で完了・いつでも解除できます
まだコメントがありません。最初のコメントを投稿しましょう！
ログインして議論に参加200以上のソースから厳選したAIニュースを毎日無料でお届けします。
無料で始める登録無料・30秒で完了・いつでも解除できます
毎朝1分、AIの要点だけ。
200媒体以上・Email/LINE/Slack 対応
