AI検出器のスコアは測定値でなく分類器の出力

仮想例から始まる。教師が学生の論文に「AI 87%」を見て、それを測定値と受け取る。著者の主張は、それが代理分類器の出力であり、著作性を読み取ったものではないということだ。どの検出器も文書をスコアに変換し、しきい値を超えれば検出とするが、真のラベルを観測しているわけではなく、表面のテキストのみを見ている。したがって検出器が試しているのは、調整データにおいて人間と機械の文章の間にたまたま存在した差異にすぎない。

著者が依拠する証拠は分布外のテストだ。Liangら（2023年、Patterns）は広く使われる7種の検出器を、人間が書いたTOEFL論文91本と米国8年生の論文88本に対して実行し、TOEFL論文の偽陽性率は平均約61%だった。著者はさらに介入実験を強調する。ネイティブが書いた語彙を第二言語の分布に近づけるよう単純化すると、誤分類が急増し、ラベルが交絡因子に従うことが示された。著者はまた、この研究自体の限界も指摘する。小規模な予備的サンプルであり、2023年初頭の検出器は主に旧式で小型の言語モデルに依存していた。

そこから記事は運用面に広がる。表示される単一の割合は誤りがどこに集中するかを隠し、検出器間の不一致自体が不確実性に関する情報を含んでいる。設計チェックリストは、局所的な証拠、グループ別の誤り率、不確実性の範囲、人間の関与を求めている。検出器の結果を証明ではなく証拠の一つとして位置づけ、最終判断は人間が下すべきだとする枠組みだ。