
何が起きたか
Lightbits LabsがInferraの一般提供を発表。KVキャッシュデータをGPUメモリとストレージ間で管理し、GPUストールを防ぐソフトウェアエンジン。
なぜ重要か
長いコンテキストや多数のセッションを扱うLLMを運用するネオクラウドプロバイダーや企業を対象とし、初回トークンまでの時間を100倍以上短縮すると主張。
注目点
本番環境でのパイロット運用を開始しており、来週サンタクララで開催されるAIインフラサミットでデモを予定。
誰に効くか長いコンテキストや多数の同時セッションを扱う大規模言語モデルを運用するネオクラウドプロバイダーや企業に最も影響がある。Inferraは初回トークンまでの時間を短縮し、市販ハードウェアで同時セッション密度を高めることを目指している。
こういう要約が、毎朝あなたのメールに届きます。
Lightbits Labsは、NVMe over TCPストレージプロトコルの発明で知られるが、3月に発表し今回一般提供を開始したInferraでAI推論市場に参入する。このエンジンは、GPUの高帯域幅メモリ、DRAM、NVMeストレージ間でKVキャッシュを管理し、GPUが必要とする前にデータを事前ロードする予測型プリフェッチを用いる。この分離により、GPUメモリの容量と取得速度の制限に対処する。
同社はキャッシュヒット率が99.9%に近いと主張し、Inferraは検索拡張生成、AIエージェント、GPUサービス共有に最も効果的だと位置づけている。Rasmusson氏は、プロセッサの速度がメモリを上回った時期のCPU技術に類似していると語る。Lightbitsは、利用率と利益率の圧力からネオクラウドプロバイダーが早期導入者になると見る。
Inferraの成功は、主張するベンチマーク結果が本番環境で再現されるかどうかにかかっている。同社はパイロット運用を進めており、来週のAIインフラサミットでデモを行う。ステージング予測が遅延改善に実効性があるか、実際のテストが行われることになる。
業界と使っているAIツールを選ぶと、仕事に関係するニュースが毎朝届きます。
登録無料・Googleアカウントなら30秒・いつでも解除できますAITodayについて →
この記事についてわからないことをAIに質問できます。AIはこの記事・AIToday の過去記事・Wikipedia を読み、出典を付けて答えます。Q&Aはこのページに公開され、他の読者も読めます。
このようなAIの動きを、御社の業界・競合に合わせて毎日届ける法人プランもあります → 詳しく見る
OneTrustはOneTrust CORIEを基盤とするFall '26リリースを発表し、厳選した基盤モデルライブラリからモデルの関連付けと非推奨指標を継続的に更新するAI台帳を追加した
11月18日の日経「Dialogues on the Future」で、ソフトバンクグループの孫正義氏はAnthropicへの出資見送りを「僕の失敗の一つ」と語った

Cassava TechnologiesがNvidia製チップ購入のため最大10億ドルの調達を検討

Microsoft Ignite 2026でマイクロソフトは赤・青・緑チームのエージェントを組み合わせ攻撃模擬・検知調査・脆弱性修正を行うMicrosoft Perceptionの一般提供を発表した

Microsoft Ignite 2026でWindows Server 2028のパブリックプレビューが公開され、Microsoft Foundry、Windows ML、vLLM、Llama.cppによるAI推論ホス…

BrightAIがSmith Point Capital主導のラウンドで97百万ドルを調達
