AIToday
大規模言語モデルAI Weekly掲載日時: 2026年11月4日 1:00

トランスフォーマーの層順を推論時に並べ替える論文

LINEで送る
トランスフォーマーの層順を推論時に並べ替える論文

3つのポイント

  1. 何が起きたか

    Sean McLeish氏らの論文は、ルーターが次ブロックを選ぶLibrary of Layersを記述。学習済み「モードパス」強制で360Mモデルが数独・迷路の5戦略にほぼ100%従う。

  2. なぜ重要か

    層の順序を推論時に制御し、モデルを特定の解法戦略へ誘導できる。標準的なトランスフォーマーのように固定されない。

誰に効くかトランスフォーマーアーキテクチャを設計するAI研究者やエンジニアは、層の並び替えによって推論時のモデル挙動を制御する新たな手法を得るかもしれず、密なモデル、深さ方向の再帰、mixture-of-expertsの挙動の間の調整つまみを提供する可能性がある。

わからないところ、AIに聞けます

質問と回答はこのページに公開されます。

こういう要約が、毎朝あなたのメールに届きます。

背景と解説

Library of Layersの研究が際立つのは、層の順序を制御可能な変数に変えた点だ。標準的なトランスフォーマーはブロックを固定順で適用するが、LoLではルーターが共有ライブラリから次のブロックを選び、研究者らは学習されたルーティングパスを上書きできることを示した。特定の「モードパス」を強制すると、モデルは選んだ数独解法戦略のトレースをほぼ100%の精度で生成し、BFS、DFS、A*、双方向探索、行き止まり埋めのような迷路解法アルゴリズムでも同様だ。

戦略制御に加え、論文はルーター確率に対する単純なリッジ回帰が安全なテキストと危険なテキストを分離でき、系列単位でAUROC 0.95を達成すると報告する。これはルーターの内部選択が入力の安全性に関する情報を運ぶことを示唆し、監視に役立つ可能性がある。10億パラメータでは、LoLは複数のベンチマークで通常の密なベースラインの2標準誤差以内にとどまり、その設定で動的な並び替えが大きな性能コストを伴わないことを示す。コードは公開されており、他の研究者がこのアプローチを発展させられる。

よくある質問
Library of Layersとは何か?
Library of Layers(LoL)は推論中に層を動的に並べ替えて目の前の問題を解くアーキテクチャで、入力ウィンドウごとに小さなルーターが共有グローバルライブラリから次のブロックを選ぶ。
安全性プローブの性能は?
5000万トークンのホールドアウト集合でルーター確率を用いて学習したリッジ回帰は、ウィンドウ単位でAUROC 0.92、系列単位で0.95で安全なテキストと危険なテキストを分離する。
LoLはベンチマークで標準トランスフォーマーに匹敵するか?
数学データで10億パラメータの場合、LoLはARC、HellaSwag、PIQA、GSM8Kで通常の密なベースラインの2標準誤差以内にとどまる一方、通常のフルアテンションモデルはARC-Easyで大幅に低いスコアとなる。
LINEで送る

あなたの仕事に関係するAIニュースを、毎朝お届けします。

業界と使っているAIツールを選ぶと、仕事に関係するニュースが毎朝届きます。

登録無料・Googleアカウントなら30秒・いつでも解除できますAITodayについて →

AIに質問

この記事についてわからないことをAIに質問できます。AIはこの記事・AIToday の過去記事・Wikipedia を読み、出典を付けて答えます。Q&Aはこのページに公開され、他の読者も読めます。

質問と回答はこのページに公開されます。

このようなAIの動きを、御社の業界・競合に合わせて毎日届ける法人プランもあります → 詳しく見る

関連記事

マイクロソフトがAIエージェントで攻撃対抗サービス提供開始

Microsoft Ignite 2026でマイクロソフトは赤・青・緑チームのエージェントを組み合わせ攻撃模擬・検知調査・脆弱性修正を行うMicrosoft Perceptionの一般提供を発表した

NEWPublickey4時間前

Windows Server 2028がパブリックプレビュー公開

Microsoft Ignite 2026でWindows Server 2028のパブリックプレビューが公開され、Microsoft Foundry、Windows ML、vLLM、Llama.cppによるAI推論ホス…

NEWPublickey4時間前

AUMOVIOがLLMの唯一の経路をDatabricksに統一

AUMOVIOはDatabricks Unity GatewayをLLMへの唯一の経路に採用

NEWDatabricks AI Blog4時間前

CADMAGEDDON、5ベンチマークで最先端CADモデル超え

CADMAGEDDONはBenchCADの64³ボクセルIoUで、1000部品のサブセットにおいて0.991を記録し、Claude Sonnet 5.5の0.963、Claude Opus 5.5の0.962、GPT-6…

NEWAI Weekly4時間前

MIT Technology ReviewのAI指数、AIは遍在

MIT Technology ReviewのAI誇大広告指数はAIの広がりを示し、GoogleのAI Overviewsが広告収入で数十億ドルを失わせたことやAI支援のサイバー攻撃を挙げた

NEWMIT Technology Review AI4時間前

Thomas Nagel、AI意識説を「馬鹿げている」と一蹴

哲学者トーマス・ナゲル氏はバーグルエン賞受賞後のインタビューで、大規模言語モデルが意識を持つ可能性を真剣に受け止めるのは「馬鹿げている」と述べ、AnthropicのClaudeへのアプローチを「犯罪的」と呼んだ

NEWWIRED AI4時間前
次の記事へAI選挙回答の4割に事実誤認 WIRED