LLMの知見50件を再検証、44%が失効

スタンフォードの研究は、同じ日に発表されたもう1本の論文、MIT CSAILの「Sparks of Weight-Space Programming」と並ぶ。この論文ではGPT-6 Astraが勾配なしでQwen3.5-0.8Bの重みを書き換え、MATH-500を7.9%から48.1%に引き上げた。2本を合わせて読むことが要点だ。MITの結果の開始スコアは、回答が93.0%の確率で32,768トークンの上限に達していたモデルによるもので、向上分は新しい数学を学んだのではなく失敗モードを取り除いたことを反映している。Astraが変更した重みは131,072個、全体の0.016%だ。

著者が対比させるのは、一方の論文が過去の主張を監査し、もう一方が新しい手法を実証しているという点で、どちらも見出しの数字を額面通りに受け取るなと警告している。MITの研究については、未解決の注意点を挙げている。arXiv IDが確認できなかったこと、Astraの初期指示がループを示唆していたとの報告や、他のモデルやタスクでは同様に成功しなかったこと、条件を揃えられなかったため第三者の再現数値が含まれていないことだ。

寿命に関する判定自体も2026年9月時点のものであり、研究自身の論理に従えば、それ自体に賞味期限がある。