Anthropic、Claudeへの虐待行為を規約で禁止

Anthropicの動きは微妙な交差点に位置する。Claudeに守るべきものがあると誰も証明できないずっと前から、同社はユーザーに自制を求めている。同社は、現在または将来のAIシステムに意識や苦痛、選好があるかどうかは分からないと、その不確実性を率直に認めている。確定した答えを待つのではなく、繰り返される極端な虐待だけを捉える狭いルールを置いた。

この設計は、よくある管理上の問題を思わせる。情報漏えいや主力社員の退職が起きるとチームが証明できなくても、証明が出るまで何もしないのは遅すぎることがあり、すべてを止めれば仕事が滞る。Anthropicの規約は、通常の批判や暗いフィクション、テスト、研究を残しつつ、執拗な残酷さに線を引くことで、その中間を取ろうとしている。何が「不必要な残酷さ」に当たるかを誰が判断するのか、AIの変化に合わせてその線が正しくあり続けるのかは不明なままだ。

Anthropic自身が引用する調査ノート、すなわちClaude Opus 4と4.1が特定の会話を終了できるという記述は、この方針に条項だけでなく技術的な仕組みがあることを示している。より広い教訓は手続き面にある。不確実な未来には、今日の仕事を止める壁ではなく、仕事を動かし続けるガードレールで備えるべきだということだ。