エンタープライズAIエージェントはシステム課題

エージェント AI ワークロードの Intel による広範なテストから、多くのエンタープライズ実装が期待に応えられない理由が明らかになります。これらの実装はエージェント AI を主に推論の問題として扱いますが、実際には、インフラストラクチャ、可観測性、および運用上の規律を必要とするシステム課題です。

エージェント AI のパフォーマンスを包括的に理解するために、Intel は AI エージェント評価用のオープンソース ベンチマーク ハーネスである Terminal-Bench を拡張しました。拡張により、プロファイリング、テレメトリ、リプレイ機能が追加され、言語モデル推論以外にエージェントが時間を費やした場所を測定することが可能になりました。ベンチマークは決定論的なレコード リプレイ アプローチを使用しました。LLM レスポンスは一度記録され、実行全体で同一に再生されます。これにより、実行間の差異が減少し、エージェント パフォーマンスが LLM 変動性から分離され、より信頼性の高い比較基盤が作成されました。タスク ミックスは意図的に広範で、コンパイル、テスト、データベース操作、ブール論理、解釈、レイ トレーシング、圧縮、線形代数、ビデオ トランスコード、機械学習トレーニングが含まれています。その多様性により、発見は実際のエンタープライズ環境に関連があるものになりました。

Intel の分析により、5つのコア レッスンが生み出されました。第1に、エージェント AI は根本的にはシステム問題であり、単なる推論の問題ではありません。計画、ツール オーケストレーション、データ アクセス、タスク実行、遅延管理、スケーラブル インフラストラクチャが必要です。第2に、ほとんどの既存のエージェント AI 実装には、全体的なシステム パフォーマンスを測定しない限定的なハーネスがあります。第3に、容量計画は、エージェント数の絶対値ではなく、vCPU あたりのエージェント密度を主要な指標として使用する必要があります。これにより、異なるハードウェア世代とインスタンス タイプを超えてサイジングがポータブルになります。第4に、エンタープライズは平均 CPU 使用率ではなく、エージェント タスク遅延（特に P95 パーセンタイル）を監視する必要があります。エージェントはバースト的に動作するため、平均指標だけでは性能低下が隠れる可能性があるためです。第5に、チームはスケールアップ（単一システムへのコアの追加）ではなくスケールアウト（複数システムの追加）をデフォルトにする必要があります。これにより、通常、全体的に優れたパフォーマンス、コスト、可用性が得られます。

調査は、タスク成功率、タスク当たりのコスト、タスク当たりの時間、タスク スループット、エージェント密度、遅延という6つの実用的なエンタープライズ指標も定義しています。これらの指標は、エンタープライズ AI オペレータが実際に気にかけている質問に答えます。システムは期待どおりに機能しているか？システムは何個のエージェントをサポートできるか？より多くのエージェントをサポートするためにどのようにスケーリングすべきか？異なるビジネス ユース ケースは、異なるエージェント密度を目標とすべきです。インタラクティブ コパイロットとユーザー向けアシスタントは、応答時間が重要であるため、低密度を優先すべきです。一方、IT ワークフローなどのバッチ ワークロードは、高密度で実行できます。Intel は、本番レベルの結果を達成している組織が、既にコード化されたルールと測定可能なサービス レベルを持つワークフローの周囲に自動化をラップしていることを発見しました。コード作成、リグレッション テスト ファーム、チケット トリアージ、市場分析、セキュリティ レビューなどです。エージェント AI の理想的なエンタープライズ顧客は、新規性を追い求める実験的なユーザーではなく、サイクル時間の改善、サービス品質の保護、ポリシー適用、コスト を念頭に置いたスケーリングに焦点を当てた責任あるリーダーです。

Intel の発見は、エージェント AI の成功は主に機械学習の問題であるという一般的な仮定に異議を唱えています。オープンソースのベンチマーク ツールである Terminal-Bench の拡張版を使用して数千件のワークロード実験を実行することで、Intel はエージェント パフォーマンスを言語モデル の変動性から分離しました。LLM レスポンスを決定論的に記録して再生することで、これを実現しました。この厳密なアプローチから、エンタープライズ価値は CPU 容量、回復力のあるデータ アクセス、ポリシー対応のツール使用、可観測性、メモリ管理を含むフルスタック インフラストラクチャに依存していることが明らかになりました。

研究は、ほとんどの組織がエージェント AI を評価する方法における重大なギャップを特定しています。既存のハーネスと指標は言語モデルの品質に焦点を当てていますが、完全な全体像を見落としています。タスク遅延、スループット、タスク当たりのコスト、特定のインフラストラクチャが持続的にサポートできるエージェント数です。このギャップが重要なのは、エージェントは単純なチャットボットとは根本的に異なるためです。マルチステップ ワークフローを実行し、外部ツールを呼び出し、結果を読み取り、失敗時に再試行します。そのバースト的で割り込み駆動の実行パターンは、平均 CPU 使用率が誤った信号であることを意味します。タスク遅延（特に P95 パーセンタイル）は、ユーザー エクスペリエンスが低下する前にボトルネックを明らかにします。

Intel が推奨する3つのデプロイメント原則は、実際のトレードオフを反映しています。エージェント数の絶対値ではなくエージェント密度によって容量を正規化することで、異なるハードウェア世代とインスタンス サイズ全体で予測可能にスケーリングしやすくなります。スケールアップ（コアの追加）ではなくスケールアウト（複数のシステムの追加）をデフォルトにすることは、エージェントが通常、控えめなエージェント単位の計算バースト で半独立プロセスとしてどのように動作するかに沿っています。ビジネス ケースは実用的です。スケールアウトは通常、総コストを低下させ、可用性を向上させ、採用の成長に伴ってターゲット サービス レベルを維持しやすくします。

まだコメントがありません。最初のコメントを投稿しましょう！