AIがあっても誤答 不明率3%に低下

この研究は著者らが引用する特定の研究系譜に位置する。「エピステミア」、つまりAIの答えが検証されているからではなく説得力があるように聞こえるから受け入れてしまう傾向だ。言語モデルは常に答えを生成しなければならず、何かを知らないときに立ち止まることはない。著者らは、そうしたシステムに判断を委ねるユーザーはその無抑制さを採用するかもしれないと示唆する。この解釈は、結果が既存の「助言利用」文献といかに大きく食い違うかによって補強される。通常、人は外部の助言を過小評価し、助言者の立場に約3分の1しか近づかない——ここでの参加者の行動はその逆だ。

5つの実験はまた、何が効果を動かし何が動かさないかも切り分けている。金銭的インセンティブは参加者がAI助言を求める頻度を減らし、AI利用可能時に正確さを改善したが、研究2から4を通じて、事前登録されたテストのいずれもインセンティブとAI利用可能性の間に統計的に有意な交互作用を示さなかった——2つの要因はほぼ独立して働くようだ。研究4の自動表示条件は、AI要約を求められずとも表示する検索エンジンを反映するが、結果をほとんど変えなかった。これは効果が単に人が積極的に道具に相談することを選ぶことだけではないことを示唆する。

著者ら自身の枠組みでは、リスクはモデルの精度よりも、より設計しにくい何かにあるかもしれない。AIの答えが遍在し、ますます求められなくなる中で、人が自分の知識の限界を認識し続けるかどうかだ。従業員が不確実性を報告することに依存する組織にとって、研究者が残す未解決の問い——効果が映画トリビア以外でも持続するか、より大きなまたは評判ベースのインセンティブが差を縮めるか——は、モデル精度のさらなる向上よりも重要になりそうだ。