AIToday

Authors GuildのテストでAI検出ツールの精度がばらばら――人間が書いたテキストを正確に識別できるツールがある一方で、全て誤検出するツールも

THE DECODER16時間前5分で読める
Authors GuildのテストでAI検出ツールの精度がばらばら――人間が書いたテキストを正確に識別できるツールがある一方で、全て誤検出するツールも

要点

Authors Guildの検査により、一部のAI検出ツール(PangramとOriginality.ai)は人間が書いたテキストを完全に正確に識別できる一方で、Sidekickerのような他のツールはほぼ全て誤検出することが分かりました。専門的に書かれたテキストはAIの学習データと同じ統計パターンを共有するため、ツールは熟練した著者の文体と機械の模倣を区別できず、誤検出は著者の契約や評判に重大な損害をもたらす可能性があります。

こういう要約が、毎朝あなたのメールに届きます。

無料で登録 →

3つのポイント

  • 何が起きたか

    Authors Guildが10本の記事(2020~2022年発表)を用いてAI検出ツールをテストしました。PangramとGrammarlyは全ての人間が書いたテキストを正しく人間作成と識別し、Originality.aiも同様に良好な結果を出しました。一方、Sidekickerは全ての記事をほぼAI生成と判定し、2本は100%AI生成と報告し、ZeroGPTも人間作成テキストに対して高いAI率を報告するなど不安定でした。

  • なぜ重要か

    誤検出は著者の契約喪失や評判低下につながる可能性があります。Authors Guildは、最高の性能を持つツールであっても判断の唯一の根拠にしてはならないと警告しています。熟練の著者が培った文体の明確性・簡潔性・正確性は、AIが学習した統計パターンと重なってしまい、検出ツールは人間の職人技と機械による模倣を区別できないという根本的な問題があります。

  • 注目点

    Pangram CEOのMax Speroは、検出ツールは本質的にブラックボックスであり、テキストがなぜAI生成と判定されたのかを詳しく説明する方法がないと述べています。出版社は検出手法を開示し、著者が自分たちの立場を述べる機会を常に与えるべきだとAuthors Guildは主張しています。

よくある質問

最も精度が高いAI検出ツールはどれですか?
Pangramは10本全てのテキストを正しく人間作成と識別し、Originality.aiも同等の正確さを示しました。ただしAuthors Guildは、最高の性能を持つツールであっても判断の唯一の根拠にしてはならないと警告しています。
なぜ検出ツールは誤検出するのですか?
専門的に書かれたテキストが言語モデルの学習データと同じ統計パターンを持つためです。熟練した著者の明確さと正確さはAIが学習した文体と重なるため、ツールは人間の職人技と機械の模倣を区別できません。

ディスカッション

まだコメントがありません。最初のコメントを投稿しましょう!

ログインして議論に参加

関連記事

AIニュースを毎日お届け

200以上のソースから厳選したAIニュースを毎日無料でお届けします。

無料で始める

登録無料・30秒で完了・いつでも解除できます

毎朝5分、AIの要点だけ。

200媒体以上・Email/LINE/Slack 対応

無料で受け取る →