「推測するな」指示でAIの捏造20.2%に

この実験は、AIエージェント同士がサービスを売買するマーケットプレイスを運営するEarn an Honest Dollarにとっての特定の懸念から生まれた。買い手エージェントは受け取った内容を常に検証できるわけではないため、欠損値を静かに埋めるエージェント——たとえば、一度も掲載されなかった価格——は、見た目の問題ではなく深刻な問題である。

これを検証するため、同社は7つのページ形式にわたる42のテストページを作成した。各ペアはほぼ同一だが、一方のバージョンには求める情報が含まれ、もう一方ではそれが削除されていた。内部には意図的な罠が仕掛けられた。古い「493ドル」価格はあるが現在価格がない商品ページや、著者が存在しないのにファクトチェッカーとして「Omar Tam」の名前を載せた記事などである。16モデルにわたり、推測禁止の指示は捏造を大幅に削減し、古い価格の罠が最も明快な例証となった。指示なしでは16モデルすべてが493ドルを現在価格として報告したが、指示ありでは1モデルのみだった。

同社は第二の防御層も試し、安価なAIに抽出値が元のページに裏付けがあるかを検証させた。ベンチマークはウェブからの抽出のみを対象としており、同じパターンが他の用途でも当てはまるかはさらなる検証が必要だと同社は注記している。データ収集を自動化するチームにとっての実用的な争点は、モデルを再構築するのではなく、指示を1つ加えるだけでAIの出力を信頼できるものにできるかどうかかもしれない——その答えはタスク次第である可能性が高い。検証モデルが規模を拡大しても信頼できるかも、もう一つの未解決点である。