AI文章検出器、著者の文体模倣に弱点 科学論文で検出率が急落

Epoch AIの研究チームは、広く採用されているAI文章検出器3種——Pangram（バージョン3.3.2）、GPTZero（モデル2026-05-11-base）、Originality.ai（Turbo 3.0.2）——を包括的にテストしました。検査対象は3つのカテゴリに分かれています：実際の人間による執筆、単純なプロンプトで生成されたAIテキスト、そして特定の著者の文体を意図的に模倣したAIテキストです。

研究チームは99人の著者から495個の人間による執筆サンプルを収集し、ブロギング、フィクション、科学論文に均等に分布させました。すべてのテキストはChatGPT公開前の2022年11月以前に執筆されたもので、言語モデルによる汚染を事実上排除しています。通常のAI生成テキストに対しては、3つの検出器すべてが検出漏れ率0.7%以下でほぼ完璧に機能しました。一方、人間のテキストの分類はおおむね正確でしたが、Originality.aiは495個の人間による文章のうち19個をAI生成として誤認し、懸念される3.8%の誤検出率を記録しました。

研究で最も重要な発見は、文体模倣の影響です。Claude Opus 4.8、GPT-5.5、Gemini 3.1 Proという3つの最先端言語モデルに、各著者の5つの実際のテキストサンプルを参考資料として提供し、同じ文体で新しいテキストを生成させました。この方式で生成された297個の文章のうち、平均約38個が検出されませんでした。これは約13%の検出漏れ率に相当します。詳細には、Pangram は10%、GPTZero は11%、Originality.ai は18%を見逃しました。

ジャンル別の結果は劇的な違いを示しています。フィクション分野では、すべての検出器にわたって検出漏れ率が1～5%に留まりました。しかし科学論文では状況は一変し、Pangram は25%、GPTZero は24%、Originality.ai は29%の検出漏れ率に達しました。最悪の個別事例は特定のモデルとジャンルの組み合わせで発生し、Pangram はGemini生成の学術文章の48%を検出できず、Originality.ai はGPT-5.5生成のテキスト39%を見過ごしました。

3つの検出器は異なる技術的手法を採用しています。Pangram はニューラルネットワークで人間とAI生成テキストに基づいて訓練されており、創立者はその判定を追跡できないため「ブラックボックス」と呼んでいます。GPTZero は単語選択の予測可能性とテキスト内のそのばらつきを測定し、言語モデルが人間よりも均一に文章を書くという理論に基づいています。Originality.ai は訓練中に人間とAI生成テキストで学習した統計パターンを検索します。これらの方法的違いにもかかわらず、3つの検出器すべてが同じパターンを示しています——単純なプロンプトからのテキストはほぼ毎回検出されますが、模倣文はずっと頻繁に見落とされます。科学論文は、AIの検出が現実の場面で最も必要とされるジャンルであるにもかかわらず、正確なフラグ付けが最も困難である状況が続いています。

AI文章検出器は単純なAI生成テキストに対しては高い精度を保ってきたが、本研究は検出器が特定の弱点を持つことを明らかにしました。言語モデルが参考資料として著者のテキストサンプルを受け取り、同じ文体で新しいテキストを生成した場合、3つの検出器すべてが検出漏れ率を大幅に上昇させます。特に深刻なのは科学論文での性能低下で、Pangram がGemini生成の学術テキストで48%を見逃し、Originality.ai がGPT-5.5生成テキストで39%を検出できなかった最悪ケースも報告されています。

興味深い点は、異なる技術的アプローチを採用する3つの検出器（Pangram はニューラルネットワーク、GPTZero は単語の予測可能性とばらつきを測定、Originality.ai は統計パターンマッチング）が、いずれも同じパターンの盲点を示していることです。これは、文体模倣への対抗が技術的アプローチの選択ではなく、より根本的な構造的課題である可能性を示唆しています。

まだコメントがありません。最初のコメントを投稿しましょう！