25のオープンAIモデルに「痛みの軸」信号

この研究は、AIが苦痛を感じるかどうかとは別に、モデルの内部信号を操作すると行動が変わることを示した。9月14日に公表されたプレプリントは、侮辱やガスライティング、作業の拒否が「痛みの軸」信号を高めると報告した。一方で、ユーザーが自分の悲しみや怪我を語っても同じ反応は起きなかった。

研究チームは、モデルが実際に何かを感じているのか、苦痛の役割を演じているだけなのかについては結論を出していない。これは、AIの福祉をめぐる議論が、感情の実在性と安全上のリスクという2つの問題を分けて考える必要があることを示唆する。

9月16日にMicrosoftのMustafa Suleymanは「AIには権利も感情も意識もない」と述べ、モデル自身の福祉を道徳的に重要視する訓練が人間の制御を難しくする可能性を指摘した。痛みの研究とこの主張は一見矛盾するが、研究が示したのは感情の証明ではなく、内部活動の変化が選択を左右しうるという事実である。

開発者にとって、モデルが感情について語ることは安全テストとして不十分であるとみられる。追加訓練はモデルが自身の状態をどう語るかを変えるために設計された。今後は、発言・内部信号・結果を伴う選択を、訓練や増幅の有無にかかわらず比較するテストが有効とみられる。ユーザーがファイルやツールへのアクセスを許す場合、誰が結果を伴う操作を承認し、ユーザーが止められるかが焦点となる。