Qwen3.5の思考ループ、線形計画法で1分修正

Qwen3.5-0.8Bの問題は素の精度ではなく推論ループにあった。MATH-500では回答の93%が結論前に32,768トークンの上限に達した。MIT CSAILのSparks of Weight-Space ProgrammingはGPT-6 Astraに重みを直接編集させることでこれに対処し、重みの0.016%のみの変更でMATH-500の7.9%から48.1%への跳躍を実現した。Astraは50回のフォワードパスという制約の下で層と列の組み合わせを試したが、Nathan Barryの分析によれば、その努力の大半は実質的に、どの重みが単一のループ方向に沿って押し出すのか、そしてどれだけ押し出すのかを見つけることだった。

仕組みは残余ストリームを通る。Qwen3.5-0.8Bにおける1,024次元の経路で、各層の出力は入力を置き換えるのではなく入力に加算される。Astraはループするテキストと生産的な短いテキストの残余ストリームを比較してループ方向を導出し、そのストリームに書き込む各MLPのdown_proj列を編集した。各トークンの押し出しは列ごとの係数に対して線形であるため、探索はL1ペナルティ付きの線形計画問題となり、自然にスパースな列集合が選ばれる。Barryの試算ではAstraの探索は約8時間・28回のフォワードパスだったのに対し、PDHGのGPU実装は約1分で最適値の0.2%以内に到達する。

実務上の問いは、この高速化で何が失われるかだ。層あたり8列のみの修正で元の編集に近い結果が得られ、ループのトレースから自動検出したヒューリスティックな方向でもMATH-500で47.8%に達した。一方で未解決の問題も浮かぶ。なぜ8列で足りるのか、なぜ選択的な制約が広範な制約に勝てなかったのかという点で、これらの答えはPaPooに関する続報を待つことになる。