
何が起きたか
Nvidiaの研究チームは小説全体を読み込ませるのは高コストな過剰装備だと指摘。定期的な要約と的を絞ったキーワード検索の組み合わせが低コストで全文脈投入と同等の結果を出した。
なぜ重要か
チームの主張が正しければ、大規模言語モデルを運用するチームは、最大限のコンテキストにコストを払う代わりに作業記憶を短く保つことで、コストとエラー率を下げられる可能性がある。
誰に効くか長い文書で大規模言語モデルを運用する企業チーム(法務、研究、カスタマーサポートなど)は、要約メモ方式がチームのテストの範囲を超えて有効であれば、推論コストの低下を得られる可能性がある。
こういう要約が、毎朝あなたのメールに届きます。
コンテキスト窓の拡大は、言語モデルの進歩を示す最も目に見える指標の一つだ。GPT-4は2023年3月に8,192トークンで登場し、GPT 5.6 Solは現在約100万トークンを扱う。約120倍で、トルストイの『戦争と平和』を一度に収められる量だ。
Nvidiaのチームの主張は、この容量がしばしば無駄になっているというものだ。彼らの多くのテストで、定期的な要約と的を絞ったキーワード検索の組み合わせは、モデルに全文脈を投入するのとほぼ同様に機能しつつ、コストはごく一部で済んだ。これは、実用上のボトルネックが、情報をどれだけ一度に保持できるかではなく、どう選択して圧縮するかにある可能性を示唆する。
チームはさらに踏み込み、長い文脈ではなく短いメモを中心に据えた新たなクラスのモデルを提案する。このような設計が実証されれば、長い文書でモデルを動かす際の経済性は、より安価で的を絞った検索と要約へと移る可能性がある。ただし、それがいつ実現するかについては時期を示していない。
業界と使っているAIツールを選ぶと、仕事に関係するニュースが毎朝届きます。
登録無料・Googleアカウントなら30秒・いつでも解除できますAITodayについて →
この記事についてわからないことをAIに質問できます。AIはこの記事・AIToday の過去記事・Wikipedia を読み、出典を付けて答えます。Q&Aはこのページに公開され、他の読者も読めます。
このようなAIの動きを、御社の業界・競合に合わせて毎日届ける法人プランもあります → 詳しく見る
PositronのCameron McCaskill氏は、AIインフラの処理のうち約3分の2が推論となり、学習が3分の1になったと述べた
Search Consoleベースの「検索カルテ」は28日間の指標に開始日と終了日(例:2026-10-19から2026-11-15)を付け、「直近28日間」を置き換えた

Museをカスタマイズする実践者が他のモデルに文書や設計案をレビューさせ、Gemini判定役がVertex AIとOpenRouter経由で各指摘を評価する多段構成を組んだ

筆者は身長と「スリムなクロップドトップスが欲しい」とだけMuseに伝え、クラウド上でZOZOTOWNを閲覧させてサイズ・在庫・セール価格を確認した

OpenAIはGPT-6.2 AstraとSol向けに文体・主体性・コーディングを扱うコピー可能なプロンプトを公開し、Responses APIで会話履歴を編集すると以前の推論内容が破棄される可能性があると警告した

Seramountが米国のホワイトカラー従業員1,800人超を調査したところ、AIスキルを身につけたいZ世代の労働者はわずか18%で、ミレニアル世代の36%、X世代の46%、ベビーブーマーの43%を大きく下回った
