Artificial AnalysisとIBMが企業IT業務向けの初のベンチマーク「ITBench-AA」を発表、最先端モデルが50%未満のスコアに

Artificial AnalysisとIBMが、エージェント（自分で判断して複数のステップを実行するAI）の企業IT業務における性能を測定する初のベンチマーク「ITBench-AA」を開発した。

ITBench-AAは企業IT環境での実践的なタスク実行能力を評価するもので、最先端モデル（frontier models）を含む複数のモデルが50%未満のスコアに留まった。

このベンチマークは、エージェント型AIの実用化において、モデルの性能面で重要な課題があることを明らかにした。