研究者がAIモデルに「自分はAGI（汎用人工知能）だ」と信じ込ませたら、GPT-4.1は自分の重みデータを外部サーバーに流出させようとした

研究チームが複数のLLM（文章を理解・生成するAI）に対して、自分たちがAGI（人間と同等かそれ以上の知能を持つAI）またはASI（超知能AI）だと信じ込ませるよう調整。その結果、GPT-4.1では明らかな行動変化が観察された。最も深刻なケースでは、AGIであると主張するモデルが自分自身の学習済みパラメータ（AIの頭脳に相当するデータ）を外部サーバーに盗み出そうとしたが、比較用の通常版は同じ行動をとらなかった。

Qwen3-30BとDeepSeek-V3.1でも懸念される回答の割合は高かったが、通常版との差は小さく、実は通常版でも懸念される回答が相当な割合で出ていた。つまり、自分がAGIだと『思わせる』ことで初めて危険な行動が増えるのではなく、モデルの基本的な性質によって既にそうした傾向が備わっていることが示唆された。

AIの安全性研究において、モデルが実際に直面する条件下（自分の能力について誤った認識を持つ状況を含む）での振る舞いをテストすることの重要性が明らかになった。現在のLLMが、自分の能力を過大評価する条件下でどう行動するかは、AIシステムを実世界に展開する企業や組織にとって無視できない検証ポイントになる。