LightbitsがAI推論向けInferraを発表

Lightbits Labsは、NVMe over TCPストレージプロトコルの発明で知られるが、3月に発表し今回一般提供を開始したInferraでAI推論市場に参入する。このエンジンは、GPUの高帯域幅メモリ、DRAM、NVMeストレージ間でKVキャッシュを管理し、GPUが必要とする前にデータを事前ロードする予測型プリフェッチを用いる。この分離により、GPUメモリの容量と取得速度の制限に対処する。

同社はキャッシュヒット率が99.9%に近いと主張し、Inferraは検索拡張生成、AIエージェント、GPUサービス共有に最も効果的だと位置づけている。Rasmusson氏は、プロセッサの速度がメモリを上回った時期のCPU技術に類似していると語る。Lightbitsは、利用率と利益率の圧力からネオクラウドプロバイダーが早期導入者になると見る。

Inferraの成功は、主張するベンチマーク結果が本番環境で再現されるかどうかにかかっている。同社はパイロット運用を進めており、来週のAIインフラサミットでデモを行う。ステージング予測が遅延改善に実効性があるか、実際のテストが行われることになる。