IBM、自社運用AI向けllm-d 1.0公開

llm-dプロジェクトは昨年、IBM、Red Hat、Google、CoreWeave、Nvidiaの協働として始まり、現在はCloud Native Computing Foundationのサンドボックスプロジェクトとしてホストされている。バージョン1.0は、モデルをとにかく動かすことから、本番サービスとして運用することへと焦点を移すもので、IBMはこれが企業導入に欠けていた段階だとしている。

このフレームワークはvLLMやSGLangといった推論エンジンと連携し、モデルサーバーの周囲に分散ルーティングを提供する。IBMは最近のエージェント型コーディング試験で、ルーターが利用可能なキャッシュ再利用の97%を捕捉したと挙げ、GPU容量が制約される状況でキャッシュ情報をGPUメモリ、CPUメモリ、ストレージ間で移動させる技術を説明した。

IBMによれば、エージェントが1つの作業ごとに推論、ツール利用、修正を何度も繰り返すようになるほど、経済性は重要になる。各段階で同一の内容を再処理することが余分な計算を消費するためだ。IBM ResearchのRuchir Puri氏は、オープンモデルとllm-dを、量子誤り訂正向けハードウェア設計のような計算負荷の高い作業で11.8倍の効率優位につなげたとし、バージョン1.0は運用面の準備性によってそうした削減をさらに広げると述べた。