AIToday
大規模言語モデルAI Weekly掲載日時: 2026年11月12日 16:00

重み0.05%未満のゼロ化で微調整と同等

LINEで送る
重み0.05%未満のゼロ化で微調整と同等

3つのポイント

  1. 何が起きたか

    NeurIPS 2026採択論文のDeletion Tuningは、トランスフォーマーのゲート射影に二値マスクを学習させ重みの0.05%未満をゼロにするだけで、RLVR・SFT・オンポリシー蒸留でFFTと同等の性能を達成した。

  2. なぜ重要か

    標準的な微調整は多数のパラメータを書き換えるが、ごく少数の重みを消すだけで同じ下流性能が得られるならモデル改変の前提が変わる。

  3. 注目点

    強化学習下では、以前のタスクの精度がDeletion Tuningではベースモデル並みに保たれる一方、FFTやLoRA、ランダムなスパース微調整では最大5.4ポイント失われる。

誰に効くか複数のタスク向けにファインチューニング済みモデルを運用・保管する機械学習エンジニアやMLOps担当者に直結する。チェックポイントが数百〜数千倍小さくなり、タスクを追加しても以前のタスクの精度劣化を抑えられる可能性がある。

わからないところ、AIに聞けます

質問と回答はこのページに公開されます。

こういう要約が、毎朝あなたのメールに届きます。

背景と解説

大規模言語モデルの微調整は、これまでモデルのパラメータの大きな割合を書き換えるのが当然とされてきた。Deletion Tuningが示すのは、学習で選んだ二値マスクによって0.05%未満の重みを消すだけで、RLVRやSFT、オンポリシー蒸留といった異なるポストトレーニング方式で完全微調整に並ぶという結果である。

副次的ながら実務に効くのが、得られるマスクの小ささだ。対応するFFTチェックポイントより数百〜数千倍小さいため、配布や保管のコストが下がる。さらに強化学習の下では、タスクを重ねても以前のタスクの精度がベースモデル並みに保たれ、FFTやLoRA、ランダムなスパース微調整で生じる最大5.4ポイントの劣化がほぼ消える。複数のタスク向けに微調整済みモデルを維持するチームにとっては、この差が検討すべき数字になる。

よくある質問
Deletion Tuningは何をしているのか?
トランスフォーマーのゲート射影に対する二値マスクを学習し、選んだ重みをゼロにする。それ以外は変更しない。
どんな学習手法で完全微調整と同等になるのか?
RLVR、SFT、オンポリシー蒸留の3つで完全微調整(FFT)と同等の性能を示した。
以前のタスクの精度はどうなるのか?
強化学習下では、Deletion Tuningはベースモデル並みを保つ。FFT、LoRA、ランダムなスパース微調整は最大5.4ポイント失う。
LINEで送る

あなたの仕事に関係するAIニュースを、毎朝お届けします。

業界と使っているAIツールを選ぶと、仕事に関係するニュースが毎朝届きます。

登録無料・Googleアカウントなら30秒・いつでも解除できますAITodayについて →

AIに質問

この記事についてわからないことをAIに質問できます。AIはこの記事・AIToday の過去記事・Wikipedia を読み、出典を付けて答えます。Q&Aはこのページに公開され、他の読者も読めます。

質問と回答はこのページに公開されます。

このようなAIの動きを、御社の業界・競合に合わせて毎日届ける法人プランもあります → 詳しく見る

関連記事

マイクロソフトがAIエージェントで攻撃対抗サービス提供開始

Microsoft Ignite 2026でマイクロソフトは赤・青・緑チームのエージェントを組み合わせ攻撃模擬・検知調査・脆弱性修正を行うMicrosoft Perceptionの一般提供を発表した

NEWPublickey4時間前

Windows Server 2028がパブリックプレビュー公開

Microsoft Ignite 2026でWindows Server 2028のパブリックプレビューが公開され、Microsoft Foundry、Windows ML、vLLM、Llama.cppによるAI推論ホス…

NEWPublickey4時間前

AUMOVIOがLLMの唯一の経路をDatabricksに統一

AUMOVIOはDatabricks Unity GatewayをLLMへの唯一の経路に採用

NEWDatabricks AI Blog4時間前

CADMAGEDDON、5ベンチマークで最先端CADモデル超え

CADMAGEDDONはBenchCADの64³ボクセルIoUで、1000部品のサブセットにおいて0.991を記録し、Claude Sonnet 5.5の0.963、Claude Opus 5.5の0.962、GPT-6…

NEWAI Weekly4時間前

MIT Technology ReviewのAI指数、AIは遍在

MIT Technology ReviewのAI誇大広告指数はAIの広がりを示し、GoogleのAI Overviewsが広告収入で数十億ドルを失わせたことやAI支援のサイバー攻撃を挙げた

NEWMIT Technology Review AI4時間前

Thomas Nagel、AI意識説を「馬鹿げている」と一蹴

哲学者トーマス・ナゲル氏はバーグルエン賞受賞後のインタビューで、大規模言語モデルが意識を持つ可能性を真剣に受け止めるのは「馬鹿げている」と述べ、AnthropicのClaudeへのアプローチを「犯罪的」と呼んだ

NEWWIRED AI4時間前
次の記事へAI選定から運用まで一体支援の「AIパンツ」提供開始