AIの自己評価、言語で変わる

研究は60項目の検査Big Five Inventory-2を使い、外向性、協調性、誠実性、否定的情緒性、開放性を測定し、各モデルに人間を模倣させるのではなく自己について回答させた。全体としてモデルは自分を好意的に描写し、協調的で信頼でき、否定的感情が比較的低いとしたため、興味深いのは絶対スコアではなく言語間での変化だ。ChatGPT-4oとDeepSeek-V3は開放性で逆方向に動き、Gemini 2.0 Flashは米国企業製でありながら、中国語で回答した際に英語より誠実性が高く否定的情緒性が低かった。

研究者は訓練データの効果を、モデル設計、訓練手順、翻訳された文の読み方の違いから分離できず、開発元の所在地だけでは訓練データがどの文化を反映するか明らかにならないと指摘する。またAIの回答と人間の回答を比較し完全な一致はなく、AIと人間の差は中国のモデルで最大だったが、人間のサンプルは国によって年齢や募集方法が異なり、中国のサンプルは大学生のみだったと注意を促した。

結論で研究チームは、結果はAIが心理的に安定しつつ文化的に一貫しない可能性を示し、訓練環境と言語的相互作用の両方に形作られると述べた。アラインメント手法は社会的に望ましい回答を促すが文化的距離や言語による性格の変化を除去できず、今後の開発により公平で文脈を理解し倫理的に一貫したAIシステムを目指し心理的・行動的評価を統合すべきだと主張した。