GoogleのSynthID透かしは編集に耐えるが、AI偽造品は防げず

Googleは今春のI/O会議でAIツールがわずか数年で100億以上の画像・動画を生成したことを発表し、この発表を、OpenAI、Runway、Nvidia等とのパートナーシップを通じたSynthID透かし技術の大規模な拡張と組み合わせた。SynthIDは画像、動画、オーディオ・クリップのピクセルに目に見えない透かしをエンコードし、圧縮、リサイズ、編集といった一般的な劣化形態に耐えるようにそれらを永続的にコンテンツの一部にしており、Coalition for Content Provenance and Authenticity（C2PA）標準などのメタデータベースのアプローチと異なる。後者は、単に画像を編集して保存したり、スクリーンショットを撮ったりすることで除去される。

SynthIDの耐久性に関する主張をテストするため、記事の著者はPythonスクリプトを使用して繰り返される共有・ダウンロードからのデータ損失をシミュレートし、ランダムな圧縮・リサイズ変換を数百回適用した。Nano Banana Proで作成され、SynthID透かしを持つ、完全なAI生成画像と、AIで編集された元の写真という2つのテスト画像から始めて、著者はそれらをこの「画像破壊マシン」に300回実行し、ほぼ認識不可能な塊にまで還元した。50世代ごとに、著者はさらに検出の可能性を弱めるため、リエンコードなしでトリミング版も作成した。300世代後、SynthID透かしは全フレーム画像で検出可能なままであり、Google DeepMindの科学者Pushmeet Kohlが約束したようにスクリーンショットにさえ耐えた。チームは「SynthIDがAIコンテンツをラベル付けする耐久的な方法であることを確保するために多くの労力を注ぎ、」「フィルターを追加したり、画像をトリミングしたりするなど、異なる種類の変換に対して、」「検出器がそれらに対して堅牢であることを確認した。」

しかしテストはSynthIDの限界も明らかにした。300回の圧縮反復後、画像の境界から20パーセントのトリミングを除去するとSynthID検出を両方の完全なAI生成および編集版で破壊した。より大きな50パーセントのトリミングはより早く、約250回の反復で破壊できた。透かしはMetaの Content Sealより堅牢であることが証明されたが、Reutersは単純なトリミングで除去されることが多いと指摘した。Googleは不可侵性を主張していない。SynthIDに関する元の論文は透かしが「敵対的攻撃に耐えることを意図していない」と述べており、何人かはそれをハッキングしたと主張しているが、Googleの Kohlはチームが想定されるワークアラウンドを複製できなかったと言う。

技術的な脆弱性を超えて、記事は透かしが克服できない体系的な制限を特定している。SynthID検証へのアクセスは意図的に制限されている。公開APIまたはスタンドアロン検出器ウェブページはない。ユーザーはGeminiに検証するよう求める必要があり、Googleはブルートフォース攻撃とバイパスワークフロー調整を防ぐため、チェックを1日約10回に制限している。さらに根本的には、透かしはプロバイダー間で分散している。Googleの検出器はOpenAIの透かしを認識せず、OpenAIの検出器もGoogleのを認識しないため、画像は別のシステムで生成されたというだけで検証に失敗するかもしれない。Google報道官は経験が「不十分」であることを認めながら、それを「改善する」ため、「検証をより利用しやすく統一するため、業界パートナーと積極的に協力している」と述べる意図を表現したが、具体的な計画やタイムラインは提示しなかった。

しかし最も深い問題は、あらゆる技術的修正を超えて存在する。Starling Labのフェローおよび上級顧問Adam Roseは、「ここでの大きな問題は、GoogleやOpenAIなどの世界によって生成される画像だけではない。問題は自分たちのモデルを実行でき、自分のコンピュータで何かできる人々だ」と強調した。透かしなしで画像を生成するオープンソースAIモデルは無限に共有・改善でき、すべてのAI企業が透かしまたはメタデータ標準に同意する可能性は低い。その結果、ラベルなしのAI生成コンテンツは常に存在し、透かしが遭遇しないものを検出することはできない。ベテラン報道写真家でありStarling Labフェローのマイク・カロンナは非対称性を説明した。「実際のカメラで世界で作成できるコンテンツの量には限界がある。合成コンテンツで作成できる量に限界はない。」これは戦略的転換を示唆している。すべての偽造品を検出しようとするのではなく、希少で真実のコンテンツを認証することに焦点を当てる—これは「嘘つきのボーナス」を証明する実践であり、その中で高価値で検証済みの本物の情報が信頼できる基準となり、虚偽が測定される。

GoogleのSynthID透かしはAI生成画像に永続的なラベルを埋め込むという重大な技術的成果を示している。しかし記事は、透かしが何をできるかと、偽情報の問題が実際に求めるものとの間の根本的なずれを明らかにしている。AI生成コンテンツの規模は膨大である。Starling Labの推定では、人類が15億枚の写真を作成するのに149年を要したが、生成AIはわずか18ヶ月でその数を達成した。Googleだけでも、この数年間に100億以上のAI画像・動画を生成している。この指数関数的成長に対抗して、透かしは主要なAI提供企業（OpenAI、Runway、NvidiaがSynthIDの基礎技術を使用している企業を含む）による生成時にコンテンツにラベルを付けるために設計された防御手段である。

しかし記事は、技術的テストと専門家の解説を通じて、透かしが問題のごく一部にしか対応していないことを明確にしている。テストはSynthIDの堅牢性に実際の限界があることを示している。激しい圧縮と複数の編集には耐えるが、20パーセントのトリミングで除去されるには十分だ。より重要には、Googleは不可侵性を主張しておらず、透かしが敵対的攻撃に耐えるよう意図されていないと述べており、動機のある行為者は最終的にそれをバイパスする方法を見つけるかもしれない。Starling LabのAdam Roseが説明する実際の構造的問題は、「自分のモデルを実行できる人々」が、あらゆる企業ラベリング・システムの外側で完全に無ラベルのAI生成コンテンツを作成できることである。オープンソースモデルは無限に共有・改善でき、透かしなしで拡散でき、透かしだけではすべてのAI生成コンテンツをラベル付けすることが不可能にする。

二次的なユーザビリティの問題がこの課題を悪化させている。各企業の透かしに互換性がないため、画像がAI生成かどうかを確認するユーザーは、どのシステムがそれを作成したかを知る必要があるか、複数の検出器を実行してもなお何も見つからない可能性がある。GoogleはSynthIDチェックを1日約10回に制限してアビューズを防ぎ、アクセスを意図的に制限して攻撃ベクトルを防ぐ。記事は、透かしがより一般的になるにつれて、人々が無透かしコンテンツを本物と仮定するおそれがあり、それは「危険だが理解しやすい誤り」であると示唆している。専門家はすべての偽造品を検出しようとするのではなく、実際に重要な希少な真実のコンテンツを認証することに焦点を移すべきだと主張している。

まだコメントがありません。最初のコメントを投稿しましょう！