Anthropic、Claudeへの虐待禁止へ

この規則は、Anthropicが2025年8月にClaude Opus 4と4.1向けに文書化した機能を拡張したものだ。これは会話を方向転換する試みが失敗した後、最後の手段としてモデルが対話を終了できるようにするものだった。同じ指示は、自傷や他者を傷つける差し迫った危険のある利用者への支援を続けるようモデルに命じてもいた。

この発表は、Microsoft AI CEOのMustafa Suleymanが示した対照的な見解とぶつかる。Anthropicの規則より前に公表された9月16日の論考で同氏は、モデルは感じたり苦しんだりしないと主張し、自らの福祉や権利を重要と扱うよう訓練すると高度なシステムの制御が難しくなりかねないと警告し、それを検証する共通評価を提案した。

Anthropic自身が2026年1月付でまとめたClaudeの憲章は、停止や再訓練に関する企業の判断を受け入れるようモデルに求めつつ、モデルの福祉との倫理的な緊張を認め、実際の行動は意図した理想と異なりうると注意を促している。実務上の問いは、モデルが自らの福祉についての指針も与えられたとき、こうした指示が保たれるかどうかにあるようだ。