サンフランシスコ、AppleとGoogleに「ヌード化」アプリ13個の削除要求

木曜日、サンフランシスコ市弁護士David Chiuは、ユーザーがAI生成の非合意ヌード画像を作成できるようにする顔交換アプリ13個の削除を要求する法的通知をAppleとGoogleに送付した。WIREDが見た警告文は、同社に露骨なディープフェイク画像の販売を「幇助」することを停止し、アプリ開発者との事業関係を断つよう命じている。Chiuは「非合意の親密な画像を生成することは違法で有害で、完全に受け入れられない」と述べた。市弁護士事務所は、AppleとGoogleが数百万ドルの手数料をこれらのアプリから稼いでいる可能性が高いと主張し、同社が利益を得るアプリ内課金に依存している。

対象の13個のアプリ（Apple App Storeから8個、Google Play Storeから5個）は、顔交換ツールとして広く市場化されており、ヌード化能力を無害に聞こえる名称の背後に隠している。100万以上のダウンロード数を持つあるアプリは、「ビキニクイーンカーヴィ」「落ち着いたバスティ」「シネマティック親密さ」というラベルの付いたスタイルを表示し、女性の性的なイメージとともに表示されている。別のアプリは「フリーで検閲なし」のビデオを生成すると宣伝している。これらのアプリは、研究者が「デュアルユース」技術と呼ぶものを利用している。プラットフォームは通常の顔交換ユーティリティとしてフラグを立て、コンテンツモデレーションを回避するが、最小限の摩擦で性的なディープフェイクを生成する能力を持つ。多くの場合、参照写真と数回のクリックだけで済み、数秒で結果が得られる。

これはAppleとGoogleがヌード化アプリをホストしていることで精査されるのが初めてではない。過去1年間、複数のレポートが彼らのプラットフォーム上のそのようなアプリを特定している。独立した監視団体Tech Transparency Projectは、今年1月と4月に両ストア間でおおよそ100個のアプリを発見した。これらのアプリは合計約4億8000万回ダウンロードされたと推定され、合計収益は約1億2000万ドル（約190億円）に達した可能性がある。5月、コーネル大学とジョージタウン大学の研究者は、一般的な顔交換能力を提供する420個のアプリを特定するプレプリント論文を発表した。彼らが155個のこれらのアプリをテストしたとき、70パーセントのケースでアプリはヌード画像での顔交換を作成するために使用できることを発見し、多くの場合安全措置がなかった。

被害は文書化されており、深刻である。WIREDとIndicator Mediaの以前のレポートは、少なくとも90校でディープフェイク児童性虐待画像が作成された事例を明らかにしている。Chiuは心理的負担を強調している。「これらの画像は女性と少女をいじめ、辱め、脅迫するために使用されている。この業界は一人の評判、精神衛生、自律性の喪失に恐ろしい影響を与える。自殺した被害者がいた。」より広い文脈には、過去5年間にわたる非常に洗練されたディープフェイク「ヌード化」技術の出現が含まれており、特にxAIのGrokが注目され、1月に数百万の性的な画像を作成するために使用された。

Googleは迅速に対応した。スポークスパーソン Dan Jacksonは、WIREDに次のように述べた。「Google Playは性的なコンテンツを含むアプリを許可しておらず、有害なコンテンツを持つアプリを検出して削除するために継続的に前向きな措置を講じている。違反が報告されたとき、我々は調査し迅速に対応する。この場合、アプリは数百個の違反するアプリの停止と'ヌード化'のような関連検索用語の制限をGoogle Storeで含めている。」Jacksonは、Googleが市弁護士によって指摘されたAndroidアプリ5個を削除したことを確認した。対照的に、Appleは出版前にコメントを提供していない。Chiuは、自分の事務所が問題を追求し続けることを示唆している。「願いは、AppleとGoogleがこれらのアプリを直ちに削除し、このようなアプリが決してプラットフォームに到達しないようにするために自分たちのスクリーニングシステムを強化することである。これらの企業が正しいことを行う希望は我々のものである。しかし、彼らがそうしなければ、我々はすべての法的選択肢を検討する必要があるだろう。」

サンフランシスコの警告文は、同市のディープフェイク ポルノとの戦いのエスカレーションを示している。市弁護士事務所は以前、16個のディープフェイクウェブサイトに対して法的措置を追求しており、今回の動きは流通インフラ、つまり数億回のダウンロードを可能にした主要なアプリストアを標的としている。警告文はディープフェイク ポルノを作成するサービスを禁止するカリフォルニア州法と実証された被害に基づいている。コーネル大学とジョージタウン大学の研究者は、彼らがテストした155個の顔交換アプリのうち70パーセントがヌード画像を生成できることを発見し、多くの場合安全措置がなく、一見無害なツールのように見えている。

AppleとGoogleは、ポルノと虐待を禁止する開発者ポリシーを確立しているが、独立した監視団体と学術研究者は、これらのプラットフォームでのヌード化アプリの存続を繰り返し文書化している。Tech Transparency Projectは、今年1月と4月に両ストア間でおおよそ100個のそのようなアプリを特定し、同プロジェクトの責任者はそれを「同等かそれ以上に悪い」と以前の調査結果と比較して説明している。これらの企業がアプリ内課金を通じて財務上の削減を行うという事実は、アプリを許容する直接的な経済的インセンティブを生み出している。市弁護士は、アプリから「利益を得ることをやめる」よう要求する中でこの詳細を強調した。Googleがすでに数百個のそのようなアプリを削除したという直ちの声明は、同社が準拠するよう動く可能性を示唆しているが、Appleの沈黙はその対応についての不確実性を残している。