AIToday
大規模言語モデルQiita 機械学習掲載日時: 2026年11月17日 16:00

線形アテンション進化は薄める・読む・書くの追加史

LINEで送る
線形アテンション進化は薄める・読む・書くの追加史

3つのポイント

  1. 何が起きたか

    Qiita記事がSoftmax Attention→Linear→DeltaNet→Gated DeltaNet→KDAを、書く・読む・薄めるの部品を1つずつ足した歴史として解説。

  2. なぜ重要か

    部品の追加が更新後に古い情報がどれだけ残るかを変える。これが固定サイズメモリの核心的なトレードオフだ。

わからないところ、AIに聞けます

質問と回答はこのページに公開されます。

こういう要約が、毎朝あなたのメールに届きます。

背景と解説

線形アテンションは単一の突破ではなく、小さな追加の積み重ねとして位置づけられる。Softmax Attentionは過去の全トークンを保存しクエリをすべてと比較するため、メモリは系列長とともに増える。線形アテンションはこれを固定サイズの状態に置き換え、新しいキーと値の組を足して更新する。メモリは定数になるが、古い情報が真に消えることはない。

DeltaNetは読み取りの段階を加える。書き込み前に現在のキーが何を引き出すかを確認し、古い値と新しい値の差分だけを補正する。Gated DeltaNetはスカラーのゲートを加え、更新前に状態全体を薄めることで、文脈の切り替え時に急速に忘れられる。KDAはそのゲートをベクトルにしてチャネルごとに薄める。Kimi Linearのチームはこれを、Gated DeltaNetのヘッド単位の粗い忘却に対処するものと説明する。

手動実行の実験がこれらの部品の効果を切り分ける。8件と3回の上書きで、Linearは古い数値を0.99で残し、β=1のDeltaNetは完全に消す。著者はKimi LinearがKDAと標準アテンション(MLA)を3:1で組み合わせていると指摘する。固定サイズの状態に要約するものと完全なデータベースに保持するもののバランスを取る試みかもしれないという。これは報告された結果ではなく著者の観察として示されている。

よくある質問
LinearとDeltaNetの違いは何か?
Linearは固定サイズのメモリに新しいキーと値の組を足すだけなので古い数値が残る。DeltaNetは現在値を読み、差分だけを補正するため古い項目を上書きできる。
KDAはGated DeltaNetに何を加えたか?
Gated DeltaNetはスカラーα_tでメモリ全体を薄めるが、KDAはα_tをベクトルにしてチャネルごとに薄めるため、メモリの部分ごとに異なる速さで忘れられる。
実験は学習済みモデルに基づくか?
いいえ。数値は更新式を動かす手動設定のゲートによるもので、学習済みモデルではない。20シードの平均値。
Qiita 機械学習元記事を読む
LINEで送る

あなたの仕事に関係するAIニュースを、毎朝お届けします。

業界と使っているAIツールを選ぶと、仕事に関係するニュースが毎朝届きます。

登録無料・Googleアカウントなら30秒・いつでも解除できますAITodayについて →

AIに質問

この記事についてわからないことをAIに質問できます。AIはこの記事・AIToday の過去記事・Wikipedia を読み、出典を付けて答えます。Q&Aはこのページに公開され、他の読者も読めます。

質問と回答はこのページに公開されます。

このようなAIの動きを、御社の業界・競合に合わせて毎日届ける法人プランもあります → 詳しく見る

関連記事

Samsung、Gemini搭載スマートグラスを12月10日発売

SamsungのIntelligent Eyewearは12月10日に米国と韓国で発売、米国価格は395ドルから

NEWImpress Watch1時間前

MicrosoftがCopilot Workspacesを発表

Microsoftは「Frontier」の一環としてWord、Excel、PowerPointが動作する「Copilot Workspaces」を発表し、個人用Autopilotエージェントも近く導入すると述べた

NEWArs Technica AI4時間前

メタAI幹部がMuse宣伝にアルトマン氏のAI動画

Metaの最高AI責任者アレクサンダー・ワン氏が11月上旬、消費者向けAIエージェント「Muse」の宣伝としてサム・アルトマン氏ら4者ビデオ通話をAI生成した短いクリップをInstagramに投稿した

NEWThe Verge AI4時間前

Satya Nadella、AIモデル独占が民主主義を終わらせると

Microsoft Ignite後の円卓会議でSatya Nadella CEOは政治経済について「AGIに開眼した」と述べ、単一のAIモデルが支配的になれば民主主義が終わり得ると警告した

NEWThe Verge AI4時間前

Nvidia暫定CEO、Hugging Face買収は予定通りと表明

暫定CEOコレット・クレス氏はNvidiaのオープンソースAI関与継続を述べ、OpenRouterの週間トークン量が前年比35倍に急増したとし、129億ドルのHugging Face買収が予定通りと確認した

NEWTechCrunch AI4時間前

AT&TのCOO、AIが帯域の流れを根本から変えると指摘

AT&TのCOO、Jeff McElfresh氏は、エージェント型AIが帯域の方向を根本的に変えつつあると述べた

Top Companies AI8時間前
次の記事へ月340ドルで3つのAIコーディングCLIを使い分け