AIToday
大規模言語モデルLobsters AI掲載日時: 2026年11月19日 10:00

LLMが最大1000万トークン保持する睡眠フレームワーク

LINEで送る
LLMが最大1000万トークン保持する睡眠フレームワーク

3つのポイント

  1. 何が起きたか

    GoogleとCornellの研究者が「睡眠フレームワーク」を発表。LLMが能動的な対話とオフライン段階を交互に行い、短期文脈を長期パラメータに統合して最大1000万トークンの知識を保持する。

  2. なぜ重要か

    導入済みモデルが知識カットオフで固定されず、公開後も新しい事実を学習し推論を改善できる。中核アーキテクチャは変えない。

誰に効くか自社ホストのLLMを運用する企業チームは、この定期的な統合サイクルを採用し、全面再訓練なしでモデルを新しいデータに追随させられる可能性がある。ただし枠組みは現状まだ研究段階だ。

わからないところ、AIに聞けます

質問と回答はこのページに公開されます。

こういう要約が、毎朝あなたのメールに届きます。

背景と解説

睡眠フレームワークは、導入済みLLMの根本的な制約に対処する。一度訓練されると知識カットオフが固定され、破滅的忘却のリスクなしに新能力を獲得できない。従来の継続学習の更新は以前に学んだタスクの性能を劣化させがちで、文脈内学習は単一セッション内の情報しか保持しない。脳の休息サイクルを模し、モデルが短期文脈を長期パラメータに統合する定期的なオフライン段階を設ける。Mixture-of-Expertsによるパラメータ拡張と、オンポリシー蒸留および強化学習ベースの模倣による知識のシード付与で実現する。「夢見」段階では合成訓練サンプルを生成し、有用性で選別して能力を洗練させる。実証結果では未見言語の継続翻訳で性能低下がほぼゼロに抑えられ、AIME 24/25やHMMT 25などの推論ベンチマークで高いスコアを達成した。理論的根拠は、統合が低ランク圧縮として働き、夢見が勾配方向を多様化して最適化を安定させるというものだ。この研究は導入後も継続学習と自己改善が可能なAIシステムを示唆するが、実用化にはさらなる検証が必要だ。

よくある質問
睡眠フレームワークは古い知識の忘却をどう防ぐのか?
Mixture-of-Expertsによるパラメータ拡張で新しい低ランク専門家を安定した記憶ブロックに追加し、統合後に一時的な高頻度パラメータをリセットする。
フレームワークの性能を裏付ける証拠は?
BABILongベンチマークでは1000万トークンまでほぼ完璧にスケールし、GPT-4やTitansを上回った。事実知識テストでは単一タスク48.9%、CPT評価46.2%を記録した。
LINEで送る

あなたの仕事に関係するAIニュースを、毎朝お届けします。

業界と使っているAIツールを選ぶと、仕事に関係するニュースが毎朝届きます。

登録無料・Googleアカウントなら30秒・いつでも解除できますAITodayについて →

AIに質問

この記事についてわからないことをAIに質問できます。AIはこの記事・AIToday の過去記事・Wikipedia を読み、出典を付けて答えます。Q&Aはこのページに公開され、他の読者も読めます。

質問と回答はこのページに公開されます。

このようなAIの動きを、御社の業界・競合に合わせて毎日届ける法人プランもあります → 詳しく見る

関連記事

Oxide創業者、4億4500万ドル調達しAI計算の自社保有に自信

Oxide Computer Co.は10月に4億4500万ドルを調達し、大規模企業が自社コンピュータを保有したがるという考えの上に事業を築いてきた、とBryan Cantrill氏がSC26でtheCUBEに語った

NEWSiliconANGLE AI1時間前

OpenAI、モデル転売業者に審査・承認を義務付け

OpenAIは、同社のAIモデルへの第三者アクセスを提供するゲートウェイやルーターについて、同社による審査と承認を義務付けた

NEWSemafor Tech1時間前

ベテランの暗黙知は手順書との差分にあり

Hiromi氏のZenn記事が、日常の作業記録を起点に手順書との差分だけを問う設計「Continuous Reasoning Acquisition(CRA)」を、架空の充填No.2事例で解説した

NEWZenn AI/ML1時間前

Claude Opus 5.5が勾配降下なしでARC50.79%

公式ハーネス上でClaude Opus 5.5が勾配降下もフォワード呼び出しもなしにARCモデルを書き、3,530問のテストセットで50.79%を記録した

NEWZenn AI/ML1時間前

米大手テック、生成AIの競争軸を代行力に移す

米大手テック企業が生成AIの競争軸を回答の質からエージェント能力へ移しており、アマゾンの配達通知、グーグルのパスキー通知、契約返信メールの下書きがその例として示された

NEWNikkei AI Stocks1時間前

Google Research、LLMの人間代替を検証する統計テスト

Technion、University of Haifa、Google Researchの研究者がAltRA-Testを公開

NEWAI Weekly4時間前
次の記事へPalo Alto Networks、AI新興を45億ドルで買収へ