
何が起きたか
Qiita記事がSoftmax Attention→Linear→DeltaNet→Gated DeltaNet→KDAを、書く・読む・薄めるの部品を1つずつ足した歴史として解説。
なぜ重要か
部品の追加が更新後に古い情報がどれだけ残るかを変える。これが固定サイズメモリの核心的なトレードオフだ。
こういう要約が、毎朝あなたのメールに届きます。
線形アテンションは単一の突破ではなく、小さな追加の積み重ねとして位置づけられる。Softmax Attentionは過去の全トークンを保存しクエリをすべてと比較するため、メモリは系列長とともに増える。線形アテンションはこれを固定サイズの状態に置き換え、新しいキーと値の組を足して更新する。メモリは定数になるが、古い情報が真に消えることはない。
DeltaNetは読み取りの段階を加える。書き込み前に現在のキーが何を引き出すかを確認し、古い値と新しい値の差分だけを補正する。Gated DeltaNetはスカラーのゲートを加え、更新前に状態全体を薄めることで、文脈の切り替え時に急速に忘れられる。KDAはそのゲートをベクトルにしてチャネルごとに薄める。Kimi Linearのチームはこれを、Gated DeltaNetのヘッド単位の粗い忘却に対処するものと説明する。
手動実行の実験がこれらの部品の効果を切り分ける。8件と3回の上書きで、Linearは古い数値を0.99で残し、β=1のDeltaNetは完全に消す。著者はKimi LinearがKDAと標準アテンション(MLA)を3:1で組み合わせていると指摘する。固定サイズの状態に要約するものと完全なデータベースに保持するもののバランスを取る試みかもしれないという。これは報告された結果ではなく著者の観察として示されている。
業界と使っているAIツールを選ぶと、仕事に関係するニュースが毎朝届きます。
登録無料・Googleアカウントなら30秒・いつでも解除できますAITodayについて →
この記事についてわからないことをAIに質問できます。AIはこの記事・AIToday の過去記事・Wikipedia を読み、出典を付けて答えます。Q&Aはこのページに公開され、他の読者も読めます。
このようなAIの動きを、御社の業界・競合に合わせて毎日届ける法人プランもあります → 詳しく見る
SamsungのIntelligent Eyewearは12月10日に米国と韓国で発売、米国価格は395ドルから

Microsoftは「Frontier」の一環としてWord、Excel、PowerPointが動作する「Copilot Workspaces」を発表し、個人用Autopilotエージェントも近く導入すると述べた

Metaの最高AI責任者アレクサンダー・ワン氏が11月上旬、消費者向けAIエージェント「Muse」の宣伝としてサム・アルトマン氏ら4者ビデオ通話をAI生成した短いクリップをInstagramに投稿した

Microsoft Ignite後の円卓会議でSatya Nadella CEOは政治経済について「AGIに開眼した」と述べ、単一のAIモデルが支配的になれば民主主義が終わり得ると警告した

暫定CEOコレット・クレス氏はNvidiaのオープンソースAI関与継続を述べ、OpenRouterの週間トークン量が前年比35倍に急増したとし、129億ドルのHugging Face買収が予定通りと確認した

AT&TのCOO、Jeff McElfresh氏は、エージェント型AIが帯域の方向を根本的に変えつつあると述べた
