IBMら、自社運用AI基盤llm-dの新版を公開

IBM、Red Hat、Googleは昨年、CoreWeave、Nvidiaとともにllm-dを共同設立し、現在はAMD、Cisco、Hugging Face、Intel、Mistral AIもコントリビューターに名を連ねる。バージョン1.0は、導入後に何が起きるかに焦点を移した。本番の推論サービスは、許容できる応答時間を保ちながら、変化するトラフィック、ハードウェア障害、ソフトウェア更新、リソースを奪い合うユーザーに対処しなければならない。

新たな制御機能はエージェント型ワークロードを狙う。単一のエージェントが多数のリクエストを発行し、外部ツールを使うために一時停止し、追加のモデル呼び出しのために戻ってくることがある。フレームワークのルーティングシステムは、関連するキャッシュ済みコンテキストをすでに保持するレプリカへリクエストを振り向け、別の機能はGPU容量が逼迫した際にキャッシュ情報をGPUメモリ、CPUメモリ、ストレージ間で移動させる。IBMは最近のエージェント型コーディング試験で、フレームワークのルーターが利用可能なキャッシュ再利用の97%を捕捉したと述べた。別のデモでは、IBMとRed Hatが自社ホスト基盤上で3,000のソフトウェアエンジニアリングエージェントを同時実行し、同じオープンモデルをホスト型サービス経由で提供する場合より5〜10倍低いコストで済んだと発表した。

IBM Researchのチーフサイエンティスト、Ruchir Puri氏は、オープンな大規模言語モデルとllm-dは、量子誤り訂正向けハードウェア設計のような計算負荷の高い問題で推論コストを大幅に下げ、11.8倍の効率優位を達成するのに役立つと述べた。今回のリリースは現在、Cloud Native Computing Foundationのサンドボックスプロジェクトとしてホストされている。