AIToday

エージェンティックAI、訓練から効率重視へ転換

SiliconANGLE AI4時間前
エージェンティックAI、訓練から効率重視へ転換

要点

エージェンティック推論(長時間実行される AI エージェントタスク)は、データセンターアーキテクチャを生の計算速度への注力からストレージ、メモリ、電力効率へと再構成している。Solidigm、AMD、Tensordyne、d-Matrix を含む複数企業が RAISE Summit で、GPU へのデータ配信、電力消費、異種コンピューティングのボトルネックに対応したソリューションを発表した。このシフトはまた資本制約とデータ主権をインフラストラクチャの課題として浮き彫りにしており、Argentum AI と Neo4j のような企業がハードウェアに加えて資金調達とガバナンスのソリューションを提供している。

こういう要約が、毎朝あなたのメールに届きます。

無料で登録 →

3つのポイント

  • 何が起きたか

    RAISE Summitで、インフラストラクチャ業界のリーダーが、長時間実行されるAIエージェントタスクであるエージェンティック推論が、ストレージ、メモリ、電力消費に新たなボトルネックを生み出していることを明らかにした。Solidigmの Greg Matson は、ストレージが重要経路に入り、「システムのメモリを拡張する全く新しいストレージ層」が生成されていると説明した。AMD は個別チップではなく CPU、GPU、ネットワーク全体で最適化を実施。Tensordyne の Napier 推論チップは対数数学を使用して電力消費を 30 キロワットに削減(Nvidia システムの同等品は 150 キロワット)。d-Matrix は目的別に設計されたアクセラレータと GPU を組み合わせて、本番環境での異種推論を実現している。

  • なぜ重要か

    企業が単一タスクの AI ワークロードから長時間実行されるエージェンティックシステムへ移行するにつれ、インフラストラクチャのボトルネックは生の計算速度から GPU への継続的なデータ供給と電力コスト管理へシフトした。アクセラレータの近くに配置されたストレージは GPU のアイドル時間を防ぐため重要となり、アイドル時間は GPU が最も高価なインフラストラクチャコンポーネントであるため資本の浪費につながる。AI スタックのこの再構成により、企業は GPU キャパシティだけに依存することはできず、競争力を維持するためにストレージ、メモリステージング、電力アーキテクチャを再考する必要がある。

  • 注目点

    データ主権と資金調達がハードウェアとともにインフラストラクチャの課題として浮上している。Argentum AI は、顧客契約を先に確保してから建設に資金を配分するモデルにより資本制約に対応し、「電力、計算、資本」を統合製品として扱っている。Agentcy Labs と Neo4j はナレッジグラフの開発を進めており、大規模言語モデルと並行して企業に確定的な制御と説明可能性を提供し、主権(領土、運用、スタック制御)をエージェンティックデプロイメントのコアインフラストラクチャ要件として位置づけている。

詳細

RAISE Summit では、インフラストラクチャリーダー間の一連の対話により、エージェンティック推論がどのように AI データセンターを再定義しているかが示された。大規模モデルのトレーニングに焦点を当てた以前の AI フェーズとは異なり、AI エージェントが継続的な長時間タスクを実行するエージェンティック推論は、ストレージ、電力、システムアーキテクチャに新たな要求を生み出している。

Solidigm(SK Hynix NAND Product Solutions Corp. の商標)のシニアバイスプレジデント兼マーケティング・プロダクト部門トップである Greg Matson は、ストレージが周辺から重要経路へ移動したと説明した。Matson は theCUBE に、「数年前にトレーニングで始まり、GPU の隣に配置された高容量で高パフォーマンスなストレージの必要性が突然表舞台に出た。しかし今、昨年から今年へ、推論フェーズからエージェンティック推論へと進むにつれ、それはさらに爆発的に増加している。ストレージは実質的にシステムのメモリを拡張するために作成されている全く新しいストレージ層である」と述べた。Solidigm は AI Central Lab を通じてこのアプローチをテストしており、孤立した環境ではなく本番環境でストレージがどのように動作するかを理解するために、アクセラレータハードウェアとパートナーソフトウェア全体で実際のエージェンティックワークロードを実行している。

AI スタック全体の専門化は、個別企業がプロダクト戦略をどのように進化させているかにも明らかである。AMD の Mark Papermaster は、企業は単一の専用タスク向けの最適化ではなく、異なるコンピューティングエンジンがスケールで連携して動作する必要がある「全体的なプロセス」向けの最適化を行うようになっていると指摘した。AMD の ROCm ソフトウェアスタックは、データセンタークラスタ、エッジデプロイメント、AI 対応 PC 全体で一貫したレイヤーを提供するように設計されている。Tensordyne は異なるアプローチで電力制約に対処している。Napier 推論チップは乗算を加算に置き換えて、大きな電力を消費する乗算器回路への依存を削減する独自の Pareto 対数数体系を使用している。共同創業者 Gilles Backhus によると、72 チップの Napier ポッドは 30 キロワットを消費する一方で、同等の Nvidia システムは 150 キロワットを消費する。「当社の対数数学は完全に内部にある」と Backhus は説明した。「ユーザーの観点から、SDK の観点からは、それを気づくことさえない。単に通常の浮動小数点数学に見えるだけだ。ただ、内部のエンジンがより効率的なだけである。」一方、d-Matrix は Corsair アクセラレータを Nvidia Hopper および Blackwell GPU と組み合わせて異種推論を実現し、計算集約的な prefill と遅延に敏感なトークン生成という異なる要件に対応している。d-Matrix の共同創業者 Sudeep Bhoja は、「低レイテンシーは今日のゲームの名前だ。エージェントは長時間実行され、ユーザーは待ちたくない」と述べた。

ハードウェアを超えて、2 つの追加的な制約が企業がエージェンティックシステムをデプロイする方法を再構成している。Argentum AI の CEO Andrew Sobko は資本を「展開速度の焦点における最大のボトルネック」と特定した。Argentum AI のモデルは、建設に資本を投入する前に顧客を確保して契約収益を得、資金調達をデプロイメントスタックの統合部分として扱う。同時に、データ主権はコンプライアンスの懸念からインフラストラクチャアーキテクチャへと移行している。Agentcy Labs の CEO Amit Eyal Govrin と Neo4j の CTO Philip Rathle は、主権が領土、運用、スタック、法的、およびユニットエコノミクスの懸念にまたがると説明した。「主権はあなたの AI に対する行為能力と制御を行使することである」と Govrin は述べた。「あなたのスタックのいかなるレベルの制御をも国家、経済的、脅威アクターに乗っ取られることのない状態でなければならない。」Neo4j はナレッジグラフを制御メカニズムとして推進しており、一部の決定が大規模言語モデルに完全に依存するのではなく確定的に実行される。Rathle が説明したように、「完全な脳、両半球を持つ AI を行う能力を持つことは非常に重要だ。LLM は自発的で創造的だが、間違いを犯し、その理由は不明である。グラフを LLM の右脳への左脳として持つことが、グラフが適合する場所の本質的な部分である。」

背景と解説

本記事は、企業が AI インフラストラクチャを設計する方法における根本的なシフトを記録している。過去 2 年間を支配してきたトレーニングのスケーリングへの競争は、推論、特にエージェンティック推論(長時間実行される AI エージェントタスク)が優先事項を再構成する段階へと譲り渡した。エージェンティックワークロードは以前は二次的だった新たなボトルネックを露呈させている。ストレージキャパシティと帯域幅、電力効率、および異種コンピューティング(GPU を置き換えるのではなく GPU と並行して動作する特化したアクセラレータ)の必要性がそれである。

このシフトは単なる技術的最適化ではなく戦略的な方向転換である。Greg Matson が説明したように、ハイパースケーラーはストレージを GPU メモリの孤立したコンポーネントではなくアクティブな拡張として扱うようになっている。GPU を「100% の時間トークンを生成し続ける」ことに保つ必然性があり、アイドル GPU 時間は最大の資本投資を浪費するからである。このロジックはまた電力効率の高いアーキテクチャの採用を加速させている。乗算を加算に置き換えるために対数数学を使用した Tensordyne の例は、バッチトレーニングではなく継続的な推論の制約のためにシリコン設計を再考することの具体例である。

ハードウェアを超えて、本記事は資本とガバナンスがインフラストラクチャの課題になったことを明らかにしている。Argentum AI の資金調達優先モデルとナレッジグラフを通じたデータ主権への強調は、エージェンティックシステムを構築する企業が孤立したコンポーネントをもはや購入していないことを示唆している。むしろ展開の速度、資本コスト、および独自データへの制御を考慮した統合スタックを組み立てている。この再構成(資本、主権、アーキテクチャを同等の課題として扱うこと)は、エージェンティック AI 市場が概念実証から本番規模へと成熟したことを示している。

よくある質問

Tensordyne の Napier チップは Nvidia と比べてどのくらいの電力を消費するか
Tensordyne の共同創業者 Gilles Backhus によると、72 チップの Napier ポッドは 30 キロワットを消費する一方で、同等の Nvidia Corp. システムは 150 キロワットを消費する。
Argentum AI は AI インフラストラクチャのどのような問題を解決しているか
Argentum AI は、資本制約に対応するために顧客を確保して契約収益を得た後で建設に資本を投資し、資金調達を電力と計算と並行してデプロイメントスタックのコア部分として扱っている。
ストレージがエージェンティック推論にとって重要になっているのはなぜか
エージェンティック推論が個別プロンプトから長時間実行されるセッションへと拡大するにつれて、コンテキストデータの量が GPU メモリキャパシティを超える可能性があり、GPU が継続的にトークンを生成し高価な GPU キャパシティがデータ待機で浪費されるのを防ぐため、アクセラレータの近くに配置された高容量ストレージが不可欠となる。

「大規模言語モデル」の最新ニュースを、毎朝7時にお届けします

AIが要約して、あなたの選んだトピックだけを1日1通。LINE・Email・Slackで届きます。

登録無料・30秒で完了・いつでも解除できます

ディスカッション

まだコメントがありません。最初のコメントを投稿しましょう!

ログインして議論に参加

関連記事

AIニュースを毎日お届け

200以上のソースから厳選したAIニュースを毎日無料でお届けします。

無料で始める

登録無料・30秒で完了・いつでも解除できます

毎朝1分、AIの要点だけ。

200媒体以上・Email/LINE/Slack 対応

無料で受け取る →