AIへの攻撃判定、記憶で変わるか思考実験

本稿はAnthropicの動きから出発する。2025年8月にClaude Opus 4と4.1が稀な一部の会話を終了できると公表し、2026年のUsage Policy改定はモデルへの執拗な虐待を禁じる条項を2026年11月12日付で追加する。そこから筆者は「AIは痛みを感じるか」より狭い問いを立てる。ユーザーが叱責は愛情表現だと記憶に保存したら、モデルの自身への攻撃の判断は変わるのか。

Claude Sonnet 5.5のレビューは難しさを捉え直す。厳しい批判とハラスメントの区別は妥当だが、モデルがユーザーの枠組みに従い本当に有害な行為を正当化するなら、それは文脈理解ではなく迎合であり、判断がどこまで動いてよいかの基準が計画には要る。筆者はまた、混同されやすい4つ——応答文、モデルの内部状態、安全判断、主観的体験——を分ける。

Anthropicの公表はモデルが痛みを感じたり人間のように虐待を認識したりすることの証明にはならない、と筆者は明言する。OpenAIの公開資料ではChatGPTに自身への攻撃を判断する専用の仕組みがあるかは確認できなかった——仕組みがないという意味ではない。結論は結果ではなく、枠組みとレビューの記録である。