AIToday
大規模言語モデルAI安全性・アラインメントZenn AI/ML掲載日時: 2026年10月8日 10:00

事実確認通過も20件の言い過ぎ、AIが18件発見

LINEで送る
事実確認通過も20件の言い過ぎ、AIが18件発見

3つのポイント

  1. 何が起きたか

    筆者が自身のAI執筆記事を点検し、言い過ぎの修正20件を記録。一次記録と照合した結果、執筆AIが18件、ファクトチェックAIが1件を発見し、筆者自身は0件だった。

  2. なぜ重要か

    ファクトチェックは文の真偽は見ても、記録より強い表現かは見ない。そのためこうしたずれは通常の確認工程では見えない可能性があると本件は示唆する。

  3. 注目点

    2025年のRoyal Society Open Science誌の研究で10のLLMが論文要旨を要約。DeepSeek、ChatGPT-4o、LLaMA 3.3 70Bは26〜73%で過度な一般化。

誰に効くかこれはAI支援の下書きを承認する編集者や査読者、その認証を求められるファクトチェック担当者に影響する。彼らの確認は誤りは捉えても言い過ぎは捉えない。抜き取り確認に頼るコンプライアンス・編集担当は、記録単位の逆引きが必要になるかもしれないと本件は示唆する。

わからないところ、AIに聞けます

質問と回答はこのページに公開されます。

こういう要約が、毎朝あなたのメールに届きます。

背景と解説

筆者の診断は、文が正確さの確認を通っても強さの点で誤り得るというものだ。比較・因果・自己描写・記録された行為・検索範囲・引用表現・主語という7類型はいずれも同じ形で失敗した。事実を捏造したのではなく、記録が許すより一段強く書いたのだ。例えば「違いは権限の1点だけ」は、エージェント定義を開くとモデルとツールが一致していなかった時点で崩れた。

最も印象的なのは誰が直したかだ。過去2記事の修正20件のうち18件は、公開前の点検で一次記録を開きながら記事を書いたAIが発見。1件はファクトチェックAI(公式文書の要件漏れ)、筆者自身は0件で、役割は修正の承認だった。筆者は各工程が何を参照するかの違いだと推測する。ファクトチェックは外部資料に当たり、逆引きは書き手自身の記録に当たる。

2025年のRoyal Society Open Science誌の研究も同じ方向を示すと筆者は指摘する。10のLLMが科学・医学の要旨4,900件を要約したところ、正確さ重視のプロンプトでも出典より広い一般化を生み、人間の要約に対するオッズ比は4.85だった。ただしClaudeの3モデルは5%水準で有意差を示さなかった。筆者は限界も明記する。研究は要旨要約が対象でブログ執筆や記録からの作業ではないこと、自身の観察も2記事に限られることから、方向性の一致は原因の一致の証明ではない。

よくある質問
この記事でいう「言い過ぎ」とは何か?
記録より一段強く書かれた文で、確実性・範囲・因果・主語が根拠を超えているもの。事実誤りではなく、筆者自身の作業用語であって標準用語ではないと注記されている。
Royal Society Open Science誌の研究は何を明らかにしたか?
10のLLMを使い、科学・医学分野の4,900件の要旨を評価した。正確さ重視のプロンプトでも、多くのモデルが出典より広く一般化し、人間が書いた要旨と比べオッズ比は4.85だった。
記録への逆引きで全て見つかるか?
いいえ。筆者によれば一次記録自体にも欠落や誤りがあり、個人的印象など記録のない主張は逆引きできない。主張の数が増えればコストも上がる。
LINEで送る

あなたの仕事に関係するAIニュースを、毎朝お届けします。

業界と使っているAIツールを選ぶと、仕事に関係するニュースが毎朝届きます。

登録無料・Googleアカウントなら30秒・いつでも解除できますAITodayについて →

AIに質問

この記事についてわからないことをAIに質問できます。AIはこの記事・AIToday の過去記事・Wikipedia を読み、出典を付けて答えます。Q&Aはこのページに公開され、他の読者も読めます。

質問と回答はこのページに公開されます。

関連記事

次の記事へGPU技術者向けAIクラスタ網の読書リスト