
何が起きたか
AI Forensicsの研究者がHugging Face上の画像編集ツールをテストしたところ、トップ9ツール中7つが衣服を着た女性の画像を簡単にトップレスに変換できることが判明した。別のハニーポット実験では1週間で1,000件以上のプロンプトを収集し、73パーセントが性的性質で、そのうち83パーセントが提出された写真を脱がすまたは性的に利用することを求めており、95パーセントが女性を対象にし、6.7パーセントが明らかに児童を対象にしていた。
なぜ重要か
数十億ドルの評価を受けるHugging Faceは、非同意の親密な画像を作成できるAI画像モデル約5,000個をホストしているにもかかわらず、プラットフォームレベルのセーフガードが不足しているようだ。OpenAIとGoogleのメインストリームモデルがガードレールと呼ばれる安全メカニズムを使用する一方で、Hugging Face上のオープンソースモデルは単純なプロンプトで簡単に悪用でき、実際に毎週数千人がそのように使用している。
注目点
Hugging FaceはWIREDの質問に対する内容モデレーションについて応答しなかった。WIREDが企業に連絡した後、ぬるどするサービスを宣伝するいくつかのページが削除されたが、その関連性は不明である。EUと英国は年末までに「ぬるどする」アプリを禁止する計画がある。
こういう要約が、毎朝あなたのメールに届きます。
Hugging FaceはオープンソースのAIエコシステムで重要な位置を占めており、開発者がモデルとデータセットを共有するリポジトリとして機能している。プラットフォームの寛容なホスティングアプローチは、研究者や開発者がスペース経由でモデルを直接アップロードして実行できることで、その公式なコンテンツポリシーと摩擦を生じさせている。Hugging Faceのポリシーは児童性的虐待資料と明示的な同意なしに作成された、またはハラスメントに使用された性的深層フェイクを禁止しているが、証拠の身体は執行が最小限または一貫性がないことを示唆している。企業はWIREDの質問に応答せず、いくつかの問題のあるページはメディアの連絡後にのみ削除され、積極的な監視に関する疑問が生じている。
より広い文脈は、世界中でのディープフェイクツール取り締まりの可視化である。米国の法執行機関はホスティングウェブサイトを押収し、EUと英国は年末までにぬるどするアプリを禁止する計画を発表している。しかし、Hugging Faceのオープンソースモデルは構造的ギャップを作成する。メインストリーム商用AIシステム(OpenAI、Google)は推論時にガードレールを展開して有害なリクエストをブロックする一方で、オープンソースモデルはどこでもダウンロードして実行でき、ハニーポットデータは、ガードレールがなくても、Hugging Faceのプラットフォーム自体のモデルが積極的に大規模に悪用されていることを示している。1週間で収集された1,000のプロンプトと説明される虐待パターンの多様性(ヒジャーブを除去するリクエスト、性的にされた要素を追加、児童を対象にする)は、Hugging Faceがこの害の事実上の目的地になったことを示唆している。
業界と使っているAIツールを選ぶと、仕事に関係するニュースが毎朝届きます。
登録無料・Googleアカウントなら30秒・いつでも解除できますAITodayについて →
この記事についてわからないことをAIに質問できます。AIはこの記事・AIToday の過去記事・Wikipedia を読み、出典を付けて答えます。Q&Aはこのページに公開され、他の読者も読めます。
TOPPANホールディングスと慶應義塾大学は2月1日から7月31日まで量子コンピュータと生成AIの実証実験を実施し、10qubitで16×16ピクセルのコア画像を生成、AI処理後に256×256ピクセルのカラー画像を出力…

フランス数学会会長イザベル・ガラガー主催のウェビナーで、フィールズ賞受賞者のユーゴ・デュミニル=コパンは、OpenAIが350の主要未解決問題の解答を一夜で公開したと述べた

Anthropicは10月15日、METRの6人のスタッフに社用端末、オフィススペース、社内ツールやシステムへのアクセスを付与し始めたと発表した

NVIDIAは2026年9月21日、「AIセキュリティは工学の問題――エージェントスタックの全層で解決する方法」と題したブログ記事を公開し、判断を誤ったエージェントでも行動を止められる理由を説明した

Marissa MayerはMost Powerful Women Summitで、AIの行く末を知る人は「嘘をついているか、傲慢か、その両方だ」と述べ、悪い結果になる確率は「50%をはるかに下回る」とした

Black Forest Labsが2026年10月15日、FLUX 3 Image Kleinをオープンウェイトとして公開した
