Weka、キャッシュトークンでGPU負荷削減

GPU メモリは AI 推論をスケールするための重大な制約になっている。長いコンテキストウィンドウ（モデルが一度に検討できるテキストの量）と複数ターンの会話は複合的な問題を生み出す。モデルは既に処理した情報を繰り返し再計算する必要があり、貴重な GPU メモリと計算容量を消費する。つまり、1 つの GPU で処理できる並行ユーザー数が減少し、コストがかかるハードウェア拡張が必要になる。Wekaの回答は、GPU メモリをストレージ層に拡張することでこの制約を回避することである。Wekapod 3 ハードウェアと同時にリリースされた同社の NeuralMesh 6 プラットフォームは、Weka が Augmented Memory Grid と呼ぶアーキテクチャを実装している。これは NAND フラッシュストレージを集約して GPU メモリのように機能させるが、コストは大幅に削減される。重要な洞察は、フラッシュストレージが AI モデルの事前計算トークンの 100% をキャッシュでき、会話のターンごとに再計算する必要がなくなることである。これにより、同じ GPU がより多くのユーザーを処理したり、追加のシリコン投資なしでより長いセッションに対応できる。Wekapod 3 は Weka のカスタムハードウェアへの参入を示しており、同社がソフトウェアとハードウェアの統合スタックが統合的な利点を提供していると信じていることの表れである。このタイミングは業界の勢いを反映している。DellやNetApp、Pure Storage、VASTは過去2年間で AI インフラストラクチャへと舵を切り直し、計算とメモリのトレードオフをどのように扱うかについて企業のやり方を再形成する同じ機会を競争している。Wekaの主張は、この課題のために最初から構築していることであるが、競争が激化している分野は、顧客がベンダーを決定する前に複数のアーキテクチャを評価する必要があることを示唆している。

Wekaが対処するボトルネックは実在し、深刻である。本番 AI システムでは、GPU メモリは最もコストが高いだけでなく最も不足しているリソースであり、長いコンテキストウィンドウと複数ターンの会話によって、モデルは既に処理した情報を繰り返し再計算する必要があり、追加ユーザーの処理や新しい出力の生成に利用できたはずの GPU メモリと計算サイクルを無駄にしている。Wekaの戦略は、これを避けられない制約としてではなく、より安いフラッシュストレージ技術で GPU メモリを拡張する機会として扱い、フラッシュを事前計算トークンの高速キャッシュレイヤーとして活用することである。このアーキテクチャの転換（GPU 中心から GPU プラスストレージのハイブリッド化）は、メモリが制限要因となると計算が過小活用されるという従来のインフラストラクチャ設計の限界を産業全体が認識していることを反映している。しかし、Wekaはこの分野に単独で参入しているわけではない。DellやNetApp、Pure Storage、VASTはいずれも過去2年以内に AI インフラストラクチャへの事業展開を転換し、それぞれが同様の目的別設計ソリューションを標榜している。この競争の激化している分野の出現は、強い市場需要と、どのベンダーのアプローチが支配的になるかについての不確実性の両方を示唆しており、Wekaの差別化には実行と顧客採用が重要となる。