Dell、企業AIのトークン予算枯渇を指摘

この議論は、企業の計画とエージェントAIが実際に消費するリソースとの間のギャップを示している。DellのHelen O'Sullivan氏によると、エージェント型ワークロードの増加に伴い、数月分としては十分に見えたトークン予算が数週間で枯渇している。このミスマッチにより、オンプレミス基盤とオープンソースモデルが、クラウド上のフロンティアモデルと並んで導入の選択肢として再び浮上している。

O'Sullivan氏とIntelのTim Wood氏は、流動的なハードウェア構成について述べている。エージェントAIはオーケストレーション、推論、エッジコンピューティングにまたがり、O'Sullivan氏は、多くの購入者が依然としてGPUにこだわっているものの、同氏のチームは数カ月前からCPU利用率の高まりを予想していたと語る。Wood氏は、企業のデータセンターには次世代ワークロードの一部を処理できる未使用のCPU容量がすでに存在する可能性があり、オープンウェイトモデルのサンドボックステストがそれらのワークロードに何が必要かを評価する助けになると示唆している。

両社は、既存インフラと設備投資対運用費のモデルを比較検討した上で計画を提案するコンサルティング型のアプローチを取っている。O'Sullivan氏はこの決定をチップ選定よりも広い問題と位置づけ、顧客はよくGPUをどれだけ早く入手できるかを尋ねるが、本当の問いはデータにあると指摘する。