Claudeが生成テキストに不可視透かしを追加

Anthropicの透かし発表は広範な議論を引き起こしたが、その背後にあるメカニズムは初期段階ではほとんどの読者に明確ではなかった。基盤となる技術は新しくも計算量が多いものでもなく、すべてのLLM推論ですでに使用されている標準トークン生成パイプラインを活用している。LLMがテキストを生成する際、各位置で次のトークンとして可能なすべてのトークンに対する確率分布（ロジットスコア）を生成する。通常、サンプリングアルゴリズムはこれらのスコアを確率に変換し、次のトークンを選択する。最高スコアを常に選ぶ貪欲法か、繰り返しを避けるためにランダム性を含む確率的方法かのいずれかだ。透かしはこのプロセスに介入する。確率分布から均一にサンプリングするのではなく、透かし提供者のみが取得できる隠しメッセージをエンコードするトークンへのサンプリングを微妙に偏らせる。これは生成の自然な過程で発生するため、実質的なオーバーヘッドは生じず、最終利用者にとって出力の品質や一貫性が損なわれることはない。

透かしの動機はシンプルだ。AI生成テキストがオンラインで急増する中、それを確実に帰属させる必要がある。Anthropicにのみ見える透かしにより、彼らは暗号的裏付けを持って、特定のテキストがClaudeから生成されたことを主張できる。これは利用者が見たり取り除いたりできる表面的なマーカーやメタデータとは異なる。しかし実際の利点は採用（透かしが業界規範になるかどうか）と堅牢性（言い換えや切り詰めなどの一般的なテキスト変換に耐えるかどうか）に依存する。本記事はこれらの実装詳細には触れず、概念的な基礎に焦点を当てている。