AIToday
大規模言語モデルAI Weekly掲載日時: 2026年11月18日 16:00

並列分岐型Transformer、KVキャッシュ最大34%削減

LINEで送る
並列分岐型Transformer、KVキャッシュ最大34%削減

3つのポイント

  1. 何が起きたか

    University of IllinoisとCornell Universityの研究チームが、並列分岐型のMulti-Branch Transformerを提案した。

  2. なぜ重要か

    幅と深さに続く第3のスケーリング手法となるうえ、キャッシュ削減は別途の圧縮処理ではなくアーキテクチャ自体から生じるため、再現も容易だ。

誰に効くか長いコンテキスト長で大規模な推論フリートを運用するラボが最も直接的な対象となる。スループットとキャッシュの削減効果は長い入力長で測定されているためだ。

わからないところ、AIに聞けます

質問と回答はこのページに公開されます。

こういう要約が、毎朝あなたのメールに届きます。

背景と解説

Multi-Branch Transformerは、長文脈モデルをメモリの比例的な増大なしに提供する方法をラボが模索する中で登場した。トランスフォーマーのスケーリングでは幅と深さが長く2大手法とされてきたが、論文は分岐を第3の手法として提示し、モデル規模の段階にわたって独自のスケーリング則を導出している。Joint-KV機構は各深さで分岐間のキーバリュー表現を共有し、別途の圧縮処理なしにキャッシュ削減を実現するため、手法の再現は容易だ。報告された改善はハードウェアに基づいており、16K入力トークン・同時64リクエストという条件で単一のH200 GPU上で測定されているため、エンジニアは直接ベンチマークできる。2分岐のWide-Shallow variantが最も高い性能を示し、標準的なトランスフォーマーがその検証損失に追いつくには最大1.26倍の学習計算量を要する。

よくある質問
Joint-KV機構とは何か?
各深さで分岐間のキーバリュー表現を共有する仕組みで、これがキャッシュ削減の原動力となる。
Multi-Branch Transformerは学習計算量の面で標準的なトランスフォーマーとどう比較されるか?
2分岐のWide-Shallow variantの検証損失に標準的なトランスフォーマーが追いつくには、最大1.26倍の学習計算量を要する。
どのモデルサイズが研究されたか?
Wide-Shallow、Narrow-Deep、Balancedの3つのvariantが、0.8Bから2.1Bパラメータの規模で研究された。
LINEで送る

あなたの仕事に関係するAIニュースを、毎朝お届けします。

業界と使っているAIツールを選ぶと、仕事に関係するニュースが毎朝届きます。

登録無料・Googleアカウントなら30秒・いつでも解除できますAITodayについて →

AIに質問

この記事についてわからないことをAIに質問できます。AIはこの記事・AIToday の過去記事・Wikipedia を読み、出典を付けて答えます。Q&Aはこのページに公開され、他の読者も読めます。

質問と回答はこのページに公開されます。

このようなAIの動きを、御社の業界・競合に合わせて毎日届ける法人プランもあります → 詳しく見る

関連記事

マイクロソフトがAIエージェントで攻撃対抗サービス提供開始

Microsoft Ignite 2026でマイクロソフトは赤・青・緑チームのエージェントを組み合わせ攻撃模擬・検知調査・脆弱性修正を行うMicrosoft Perceptionの一般提供を発表した

NEWPublickey1時間前

Windows Server 2028がパブリックプレビュー公開

Microsoft Ignite 2026でWindows Server 2028のパブリックプレビューが公開され、Microsoft Foundry、Windows ML、vLLM、Llama.cppによるAI推論ホス…

NEWPublickey1時間前

AUMOVIOがLLMの唯一の経路をDatabricksに統一

AUMOVIOはDatabricks Unity GatewayをLLMへの唯一の経路に採用

NEWDatabricks AI Blog1時間前

CADMAGEDDON、5ベンチマークで最先端CADモデル超え

CADMAGEDDONはBenchCADの64³ボクセルIoUで、1000部品のサブセットにおいて0.991を記録し、Claude Sonnet 5.5の0.963、Claude Opus 5.5の0.962、GPT-6…

NEWAI Weekly1時間前

MIT Technology ReviewのAI指数、AIは遍在

MIT Technology ReviewのAI誇大広告指数はAIの広がりを示し、GoogleのAI Overviewsが広告収入で数十億ドルを失わせたことやAI支援のサイバー攻撃を挙げた

NEWMIT Technology Review AI1時間前

Thomas Nagel、AI意識説を「馬鹿げている」と一蹴

哲学者トーマス・ナゲル氏はバーグルエン賞受賞後のインタビューで、大規模言語モデルが意識を持つ可能性を真剣に受け止めるのは「馬鹿げている」と述べ、AnthropicのClaudeへのアプローチを「犯罪的」と呼んだ

NEWWIRED AI1時間前
次の記事へCopilotの無料エージェント「Prompt Coach」