AI引用の38.6%が捏造との調査結果

このベンチマークは機械による解決と人手による検証を組み合わせ、公表前に自らのツールの誤りを修正している点で独自だ。著者らはモデルのランキングを意図的に避け、モデルあたりわずか2レポートという大きな信頼区間を挙げている。テーマが薄いと捏造が2倍になるという発見は、モデルが引用の形式に優れ内容には優れないという仕組みを示唆している。読者にとっては、もっともらしさは信頼できるフィルターではないため、機械的に参考文献を検証することが実用的な教訓だ。この調査の限界—19レポート、2テーマ、閲覧なし—は、38.6%という数字が普遍的ではなく限定的であることを意味する。しかし、全モデルで一貫していることは問題の広がりを強調している。著者らはまた、執筆中に閲覧する検索連動型ツールでは異なる結果になる可能性が高く、将来のベンチマークの可能性を示唆している。この研究は、解決可能な出典であっても誤った帰属や弱い内容であることがあるため、存在を引用品質の下限として位置づけている。