AIToday
大規模言語モデルロボティクスHacker News掲載日時: 2026年7月16日 1:004分で読める

ChatGPT前の人間執筆をAI検出ツールが誤判定

LINEで送る
ChatGPT前の人間執筆をAI検出ツールが誤判定

要点

  • ある執筆者が自分の検証済み人間執筆に対して11のAI検出ツールを試験し、2004~2026年にわたる、ChatGPT前の執筆を含む文献で検査した。検出ツールは大きく意見が異なり、同じ2019年テキストを5%から100%人間まで判定し、彼女のLLM前アーカイブを体系的に機械作成と誤分類した。

  • 3つのツールは統制グループに完全に失敗し、彼女の8作品すべてを多くがAIと判定。検出ツールは実際の著者性を測定するのではなく、彼女の特有の文体(構造化、高情報密度)をAIの特徴と誤解している。

  • これは教育者と出版社による投稿拒否と執筆者への詐欺告発の使用を損なうものである。

3つのポイント

  1. 何が起きたか

    ある執筆者が11のAI検出ツールで自分の執筆8点を検査し、そのうち4点はChatGPT存在前(2019~2020年)の作品だった。結果は大きくばらつき、2019年のセットアップガイドはあるツールでは人間5%と判定されたのに対し、6つのツールでは100%人間と判定。2020年の大学院入試エッセイは15%、SNS投稿は12%と評価された。

  2. なぜ重要か

    これらの検出ツールは教師、編集者、出版社が詐欺の告発に使用しており、Clarkesworld と Asimov's Science Fiction はいずれもAI支援投稿を拒否し永久追放の危険がある。だが同じテキストで大きく食い違い(セットアップガイドで95ポイントの差)、信頼できない。3つの検出ツールは統制グループに完全に失敗し、彼女の人間執筆8点すべてを多くがAIと判定、LLM以前の執筆も含まれた。

  3. 注目点

    執筆者の最もAI支援が多い作品(Claude が連続性、キャラクターシート、リサーチを支援する連載小説)は11のうち7つのツールで99~100%人間と判定され、彼女のLLM前のアーカイブより高い。検出ツールは著者性ではなく予測可能性と文体(高い語彙密度、構造化した散文)を測定しており、時代にかかわらず彼女の特有の声を疑わしいと判定する傾向がある。

この記事についてAIに質問する →

背景と解説

根本的な問題は、AI検出ツールが著者性を測定していないということだ。彼らは予測可能性と文体的一貫性を測定している。この執筆者の統制実験は基本的な欠陥を露呈させる:3つの検出ツール(Ace、Humalingo、Getsolved)は彼女の人間執筆8点すべてを、ChatGPT前の2004~2020年のテキスト含め、ほぼ全面的にAI生成と判定した。これは周辺的な不一致ではなく、カテゴリー的な失敗だ。同じ冬の日を5度と100度と読む2本の温度計は、どちらも温度を測定していない――一方は壊れて使い物にならない。

検出ツールは彼女の執筆の構造的特徴のために判定する傾向がある:高い語彙密度、強い構文的一貫性、情報精度。これらは彼女の意図的で体系思考的な声の特徴であり、低温でサンプリングする言語モデルの出力が偶然ミラーリングされている。低温サンプリングは著者性ではなく、多くの技術的メカニズムの1つに過ぎない。Claude がファイリング、連続性、リサーチを処理する彼女の最もAI支援が多い作品は、ほとんどの検出ツールで彼女のLLM前アーカイブより人間らしいと判定された、なぜなら予測不可能な物語的選択(重力をギャングボスとして、強い核力を誘惑者として)が含まれており、検出ツールの訓練分布外だからだ。

賭け金は具体的で即座だ:Clarkesworld と Asimov's Science Fiction はいずれもAI支援作品を拒否し、投稿試行に永久追放がある。教師はこれらのツールを使って学生を詐欺で告発している。編集者と出版社は投稿を拒否している。執筆者の証拠は、これらの機関が互いに同意できず、テクノロジー存在前に作成された人間執筆を体系的に誤分類するツールを配置していることを示唆している。

よくある質問

何個のAI検出ツールが試験され、最も極端な不一致は何か?
11個の検出ツールが試験された:Originality、Ace、Humalingo、ZeroGPT、Grammarly、GPTZero、Getsolved、Quillbot、Pangram、CopyLeaks、WinstonAI。彼女の2019年セットアップガイドは Getsolved では5%人間と判定されたが、6つの他のツールでは100%人間と判定された――同じテキストで95ポイントの差。
AI支援投稿を禁止している出版物は?
Clarkesworld(2026年7月)と Asimov's Science Fiction(2026年7月)はいずれも、AIツールで作成、開発、または支援された投稿を拒否しており、Asimov's は提出試行が将来の投稿からの永久追放をもたらす可能性があると警告している。
執筆者の最もAI支援が多い作品は何で、検出ツールはどう判定したか?
物理学とヴァンパイアについての連載小説で、Claude が連続性、キャラクターシート、リサーチを維持するのを支援する。11個中7つの検出ツールで99~100%人間と判定され、8番目のツールでは91%、試験した8作品すべての中で最も高い平均人間スコアを獲得――彼女のLLM前アーカイブより高い。
LINEで送る

「大規模言語モデル」の最新ニュースを、毎朝7時にお届けします

たとえば、いま届くならこの3本です

  • AIエージェント、Solana版提供へYahoo Finance AI · 1時間前
  • AIの数学証明が分野の核心的価値に挑戦Japan Times Tech · 7時間前
  • AI引用の38.6%が捏造との調査結果Hacker News · 7時間前

AIが要約して、あなたの選んだトピックだけを1日1通。LINE・Email・Slackで届きます。

登録無料・30秒で完了・いつでも解除できますAITodayについて →

AIに質問

この記事についてわからないことをAIに質問できます。Q&Aはこのページに公開され、他の読者も読めます。

関連記事

次の記事へMeta幹部、AIエージェント対応に20カ月必要と警告