どの種類の主張が最も早く失効するのか？

モデルにできないことに関する主張だ。推論関連の知見9件のうち5件が失効しており、持ちこたえたものも強化されたものもない。

幻覚的な引用は全モデルでなくなったのか？

いいえ。GPT-6.1 Solは参考文献の捏造が0%、Claude Sonnet 5.5は1%だったが、Qwen3.7-Flashは依然69%を捏造していた。

同じ公開時期のモデルはすべて同様の性能なのか？

いいえ。2026年7月から9月に公開されたモデルのうち、失効した知見はDeepSeek V4 Proの11件からGPT-6.1 Solの30件まで幅があった。

大規模言語モデルAI安全性・アラインメントTHE DECODER2時間前2026年11月4日 6:01

LLM研究の主張44%が失効、スタンフォード大が検証

LINEで送る

3つのポイント

何が起きたか
Owen Queen氏とJames Zou氏が、広く引用されるLLMに関する50の主張を、8社が2024年7月から2026年9月までに公開した20モデルで検証した。
なぜ重要か
AIモデルに関する発表済みの知見は急速に古くなるため、論文は結果を一般的な真理ではなく特定モデル版に関する観察として示すべきだと研究者らは主張する。

誰に効くかモデル選定時に学術ベンチマークを引用するAI研究者やチームは、もはや通用しない結果に依拠している可能性がある。研究は知見が平均約15.7カ月で失効しうることを示している。

わからないところ、AIに聞けます

質問と回答はこのページに公開されます。

こういう要約が、毎朝あなたのメールに届きます。

こうしたAIニュースを毎朝無料で受け取る LINEで友だち追加して受け取る

背景と解説

この研究は、Walters氏とWilder氏による2023年の知見——GPT-3.5が科学参考文献の55%を捏造した——を、同じプロンプトを現行モデルに送って比較している。GPT-6.1 Solは捏造0%、Claude Sonnet 5.5は1%だった一方、Qwen3.7-Flashは依然69%を捏造しており、改善が開発者間で一様でないことを示す。

研究者らはまた、こうした向上を問題解決の証明と受け取るべきでないと警告する。既知の事実2つを組み合わせる必要がある2ホップ質問では、Claude Sonnet 5.5は個々の質問には両方正しく答えるケースの約10%で依然失敗する。元論文でChatGPTについて報告された43%と比べれば改善だが、完全ではない。

同じ公開時期でも結果は大きくばらつき、公開日、提供元、モデル規模のいずれも傾向を確実に予測しない。Queen氏とZou氏は、LLMの挙動に対する認識のずれが信頼と利用にどう影響するかに関するAndrej Karpathy氏の投稿を挙げ、論文にはモデル、バージョン、日付を記載し、プロンプトと分析コードを公開して知見を再検証できるようにするよう勧めている。

よくある質問

どの種類の主張が最も早く失効するのか？: モデルにできないことに関する主張だ。推論関連の知見9件のうち5件が失効しており、持ちこたえたものも強化されたものもない。
幻覚的な引用は全モデルでなくなったのか？: いいえ。GPT-6.1 Solは参考文献の捏造が0%、Claude Sonnet 5.5は1%だったが、Qwen3.7-Flashは依然69%を捏造していた。
同じ公開時期のモデルはすべて同様の性能なのか？: いいえ。2026年7月から9月に公開されたモデルのうち、失効した知見はDeepSeek V4 Proの11件からGPT-6.1 Solの30件まで幅があった。

THE DECODER元記事を読む

LINEで送る

あなたの仕事に関係するAIニュースを、毎朝お届けします。

業界と使っているAIツールを選ぶと、仕事に関係するニュースが毎朝届きます。

無料で受け取る

登録無料・Googleアカウントなら30秒・いつでも解除できますAITodayについて →

AIに質問

この記事についてわからないことをAIに質問できます。AIはこの記事・AIToday の過去記事・Wikipedia を読み、出典を付けて答えます。Q&Aはこのページに公開され、他の読者も読めます。

これは何がすごいの？: この研究が重要なのは、広く引用されているLLMの主張50件のうち44%がすでに失効し、失効した知見の平均寿命が約15.7カ月と短いことを、8社の20モデルで実証した点です[1]。・LLM研究の主張44%が失効することがスタンフォード大の検証で示され、知見は特定のモデル・時点の観察として提示すべきだとされています[1]。・モデル間の差も大きく、同じ2026年7〜9月公開のモデルでも失効した知見の数はDeepSeek V4 Proの11件からGPT-6.1 Solの30件まで幅がありました[1]。・改善は一様ではなく、参考文献の捏造率はGPT-6.1 Solで0%、Claude Sonnet 5.5で1%まで下がった一方、Qwen3.7-Flashは同じテストで依然69%を捏造していました[1]。・近年、生成AIの議論は「どれだけ賢いか」から「どれだけ信頼できるか」へと移りつつあり、その流れを象徴するテーマの一つと言える研究です[2]。出典LLM研究の主張44%が失効、スタンフォード大が検証（AIToday・2026-11-03）LLMの現在年認識を米研究チームが検証（AIToday・2026-10-21）