クラウド運用AI、最良モデルでも6割止まり

CloudOpsBenchは、企業がクラウドインフラの日常運用をAIエージェントに任せられるかを検討する時期に登場した。経験豊富なDevOpsエンジニアが構築し、バージョン1.0にはAWS上の45タスクを収録。すべてのタスクが実際のAWSクラウドとエミュレータで同一に実行される。この設計は再現性の面で重要で、テストのたびに実インフラを用意しなくてもエージェントの挙動を比較できる。

結果は最高モデルと全タスク完了との間に明確な差を示す。Claude Fable 5.1はタスクの60%を解決し、GPT-6 Astraは53%だった。ミシガン大学のAng Chen率いるチームによれば、主な問題は知識の不足ではなく推論だ。失敗の約80%はエージェントがタスクの範囲を誤認したり、関連するサービスをすべて確認しなかったり、早すぎる段階で停止したりすることで起きる。誤りの約20%は誤った操作で、インフラに取り返しのつかない影響を及ぼすものもある。この内訳は、難しいのが何をすべきかの retrieval ではなく、どこまで進め、害を及ぼす前にいつ止めるかの判断であることを示唆する。

プロジェクトはGitHub上でApache 2.0ライセンスの下に公開され、詳細な失敗分析も利用できる。GCP、Azure、OCI向けの拡張も計画されており、ベンチマークはAWSの枠を超えて広がる見通しだ。現時点では、公開された失敗の内訳により、DevOpsチームはエージェントが本番クラウド運用に適するかを評価する際、スコアを具体的に解釈できる。