AI検出ツール、精度に大きなばらつき

何が起きたか

Authors Guildが10本の記事（2020～2022年発表）を用いてAI検出ツールをテストしました。PangramとGrammarlyは全ての人間が書いたテキストを正しく人間作成と識別し、Originality.aiも同様に良好な結果を出しました。一方、Sidekickerは全ての記事をほぼAI生成と判定し、2本は100%AI生成と報告し、ZeroGPTも人間作成テキストに対して高いAI率を報告するなど不安定でした。

なぜ重要か

誤検出は著者の契約喪失や評判低下につながる可能性があります。Authors Guildは、最高の性能を持つツールであっても判断の唯一の根拠にしてはならないと警告しています。熟練の著者が培った文体の明確性・簡潔性・正確性は、AIが学習した統計パターンと重なってしまい、検出ツールは人間の職人技と機械による模倣を区別できないという根本的な問題があります。

注目点

Pangram CEOのMax Speroは、検出ツールは本質的にブラックボックスであり、テキストがなぜAI生成と判定されたのかを詳しく説明する方法がないと述べています。出版社は検出手法を開示し、著者が自分たちの立場を述べる機会を常に与えるべきだとAuthors Guildは主張しています。