流暢だが誤るAIも「知的で好ましい」と同評価の研究結果

共著者で准教授のBarbara Müller氏が説明するこの研究は、文章が洗練され自然に聞こえると、人は自動的に知性を感じ、無意識に誤りの確認をやめてしまうことを示唆している。共著者で教授のTibor Bosse氏はさらに、大規模言語モデルは統計的に尤もらしく読みやすい文章を生み出すよう訓練されており、必ずしも真実ではないこと、ほとんどのチャットボットは出力が不正確かもしれないという一般的な免責事項を表示するものの、回答ごとに不確実性を示すことはほとんどないと付け加えた。

Bosse氏は、企業にAIへ自らの疑念を表明させることを義務付ければ、人が虚偽を事実として受け入れるのを防げると主張する。この知見は、AIの説得力のある話し方と実際の正確さとの間に隔たりがあることを示している。