SynthID透かし、有害応答の拒否を変える

SynthIDは透かし入りテキストを生成する仕組みで、中核にトーナメントサンプリングがある。多数の次語トークン候補を秘密鍵で確率的に競わせ、勝ち残ったトークンを選ぶ。今回Siposovaはこの「非歪曲」構成をHugging Faceの未改変実装で試し、有害プロンプトへの応答を透かしの有無で比べた。結果、透かしは有害リクエストへの拒否を変え、特にプロンプトインジェクション併用時に拒否が弱まり応じやすくなった。同じサンプリングが、どのツールを呼びどんな引数を渡すかも左右するため、モデルの発言とエージェントの行動の両方に影響し得る。これをサンプリングドリフトと呼ぶ。また秘密鍵によって挙動が異なる点も示された。検証はClaudeを対象にしておらず、Claudeが使う実装そのものではない。透かしの安全性評価がどこまで実運用に当てはまるかは、採用する実装と鍵の管理次第とみられる。