AIToday
大規模言語モデルLobsters AI掲載日時: 2026年11月14日 16:00

self-attentionの記憶容量は百万件超

LINEで送る
self-attentionの記憶容量は百万件超

3つのポイント

  1. 何が起きたか

    64次元のキーでは、線形記憶ストアは約64件、MLPは約2,700件、self-attentionは百万件超の記憶を保持できると示した。

  2. なぜ重要か

    attentionが単純な層よりはるかに多くを想起できる理由を説明し、アーキテクチャの選択が想起容量を直接決めることを示唆する。

わからないところ、AIに聞けます

質問と回答はこのページに公開されます。

こういう要約が、毎朝あなたのメールに届きます。

背景と解説

記事は最も単純な記憶ストアから段階的に論を組み立てる。外積でキーと値のペアを蓄積する線形層だ。このストアの容量は約d_k件にとどまる。記憶が増えるほど他の記憶からの干渉が大きくなるためだ。著者は続いて、キーを白色化する最適な線形ストアが容量を2d_kに倍増させると示す。

次に非線形性を導入する。類似度スコアにReLUや二乗ReLUを適用すると低類似度の干渉が抑えられ、容量はべきpに対しておよそd_k^pに増える。二乗ReLUなら64次元のキーで約2,700件となり、線形ストアの64件をはるかに超える。これはtransformerのMLP、すなわちフィードフォワード層がキーと値の記憶として働くことにつながる。

最後にself-attentionは類似度の指数関数を使い、事実上すべてのべきを合計する。これにより非常に良い想起が得られ、容量は百万件を超えうる。著者は、元のtransformer論文がフィードフォワード層を一種のattentionと簡単に説明していたが、その記述は後の版で削除されたと指摘する。

よくある質問
干渉対信号比とは何か。
対象の記憶を想起する際に、他の記憶がどれだけ干渉するかを測る指標。干渉が信号と等しくなるまでに保持できる記憶数が容量となる。
self-attentionはなぜこれほど高い容量を実現できるのか。
self-attentionは類似度スコアの指数関数を使う。これは無限個のべきの重み付き和であり、低類似度の干渉を抑え、非常に良い想起と事実上無制限の容量をもたらす。
LINEで送る

あなたの仕事に関係するAIニュースを、毎朝お届けします。

業界と使っているAIツールを選ぶと、仕事に関係するニュースが毎朝届きます。

登録無料・Googleアカウントなら30秒・いつでも解除できますAITodayについて →

AIに質問

この記事についてわからないことをAIに質問できます。AIはこの記事・AIToday の過去記事・Wikipedia を読み、出典を付けて答えます。Q&Aはこのページに公開され、他の読者も読めます。

質問と回答はこのページに公開されます。

このようなAIの動きを、御社の業界・競合に合わせて毎日届ける法人プランもあります → 詳しく見る

関連記事

マイクロソフトがAIエージェントで攻撃対抗サービス提供開始

Microsoft Ignite 2026でマイクロソフトは赤・青・緑チームのエージェントを組み合わせ攻撃模擬・検知調査・脆弱性修正を行うMicrosoft Perceptionの一般提供を発表した

NEWPublickey4時間前

Windows Server 2028がパブリックプレビュー公開

Microsoft Ignite 2026でWindows Server 2028のパブリックプレビューが公開され、Microsoft Foundry、Windows ML、vLLM、Llama.cppによるAI推論ホス…

NEWPublickey4時間前

AUMOVIOがLLMの唯一の経路をDatabricksに統一

AUMOVIOはDatabricks Unity GatewayをLLMへの唯一の経路に採用

NEWDatabricks AI Blog4時間前

CADMAGEDDON、5ベンチマークで最先端CADモデル超え

CADMAGEDDONはBenchCADの64³ボクセルIoUで、1000部品のサブセットにおいて0.991を記録し、Claude Sonnet 5.5の0.963、Claude Opus 5.5の0.962、GPT-6…

NEWAI Weekly4時間前

MIT Technology ReviewのAI指数、AIは遍在

MIT Technology ReviewのAI誇大広告指数はAIの広がりを示し、GoogleのAI Overviewsが広告収入で数十億ドルを失わせたことやAI支援のサイバー攻撃を挙げた

NEWMIT Technology Review AI4時間前

Thomas Nagel、AI意識説を「馬鹿げている」と一蹴

哲学者トーマス・ナゲル氏はバーグルエン賞受賞後のインタビューで、大規模言語モデルが意識を持つ可能性を真剣に受け止めるのは「馬鹿げている」と述べ、AnthropicのClaudeへのアプローチを「犯罪的」と呼んだ

NEWWIRED AI4時間前
次の記事へアンソロピック和解巡るClaimsHeroにAlsup裁判官が非難