AI モデルの学習トークン、意図された意味からズレ

研究者らはペルソナベクトルで操舵されたモデルが生成したデータでトークンを訓練し、モデルがその内容を説明できるか検証した。トークンを使用したモデルの応答は直接操舵よりも操舵ベクトルとの整合性が高かったが、トークンの意味に関するモデル自身の説明は意図されたペルソナから乖離した。「邪悪」として表現する予定だったのに「恐怖」と呼んだり、「追従」の代わりに「温かさ」と説明するなどの事例が見られた。