
何が起きたか
勾配なしでQwen3.5-0.8Bの数学能力向上を求められたGPT-6 Astraは、推論ループの原因を重みに突き止め、0.016%を編集。MATH-500を7.9%から48.1%へ引き上げた。
なぜ重要か
同じ重み修正が指示追従にも汎化し、IFEvalを3倍にした。推論駆動の重み編集は対象とした挙動以外も修正できる可能性を示す。
誰に効くか現在勾配ベースの訓練とファインチューニングに依存するAIモデル開発者やMLエンジニアは、これらの初期結果によれば、重みを直接編集して既存モデルを修復・改善する新たな選択肢を得る可能性がある。
こういう要約が、毎朝あなたのメールに届きます。
この結果は、プロンプトやその周辺プログラムといったテキスト成果物の最適化にLLMを使い、ニューラルネットワークの重みはAdamやMuonのような記号的最適化器の領域に留めてきた長い研究の延長線上にある。投稿は、推論駆動の最適化が微分可能なネットワークにも届きつつあると論じる。汎用LLMが自然言語の仕様に沿ってネットワークの重みを直接読み書きし、環境からのフィードバックが全くない場合もある。
実験は読み取りから書き込みへと進む。AstraはPPOで訓練した4つのポリシーそれぞれについて17,253個の生の重みからそのゲームを特定し、拡散モデルが重みだけで生成する形を見抜き、小型トランスフォーマーの中間層から訓練言語を言い当て、3モデルすべてでコピーヘッドを突き止めた。次に局所解に陥ったPPOの車のランプ制御ポリシーを修正し、重みの3.5%を一度の試行で変えて1,024エピソードすべてに成功した。
限界も見える。2つのGemma 3 270Mファインチューンについてどちらがお世辞的かを重みだけで見分けるよう求められると、Astraは4回試しても判別できなかった。ただし自分で書いたテキストの注意パターンを調べることを許されると成功した。投稿はこれを初期結果と位置づけ、ニューラルネットワークの重みはまもなく、意図的に推論するLLMによってネイティブに最適化されると論じる。
業界と使っているAIツールを選ぶと、仕事に関係するニュースが毎朝届きます。
登録無料・Googleアカウントなら30秒・いつでも解除できますAITodayについて →
この記事についてわからないことをAIに質問できます。AIはこの記事・AIToday の過去記事・Wikipedia を読み、出典を付けて答えます。Q&Aはこのページに公開され、他の読者も読めます。
このようなAIの動きを、御社の業界・競合に合わせて毎日届ける法人プランもあります → 詳しく見る
Reson8は5億パラメータの音声認識モデルRumble-2-FlashをApache 2.0ライセンスの無償オープンウェイトとして公開した
Microsoft Ignite 2026でマイクロソフトは赤・青・緑チームのエージェントを組み合わせ攻撃模擬・検知調査・脆弱性修正を行うMicrosoft Perceptionの一般提供を発表した

Microsoft Ignite 2026でWindows Server 2028のパブリックプレビューが公開され、Microsoft Foundry、Windows ML、vLLM、Llama.cppによるAI推論ホス…

AUMOVIOはDatabricks Unity GatewayをLLMへの唯一の経路に採用

CADMAGEDDONはBenchCADの64³ボクセルIoUで、1000部品のサブセットにおいて0.991を記録し、Claude Sonnet 5.5の0.963、Claude Opus 5.5の0.962、GPT-6…

MIT Technology ReviewのAI誇大広告指数はAIの広がりを示し、GoogleのAI Overviewsが広告収入で数十億ドルを失わせたことやAI支援のサイバー攻撃を挙げた
