AWS が AI エージェント（自分で判断して作業するAI）の本番運用における失敗診断を自動化するツール「Strands Evals」の検出機能を紹介しました。従来は数時間かかっていた問題原因の特定が数分に短縮される見通しです。

何が起きたか

AWS の Strands Evals SDK に、エージェントの実行トレース（処理過程の記録）から失敗を自動検出し、根本原因を分析する機能が追加されました。検出器は 9 つのカテゴリ（幻覚生成、不適切な操作、調整エラーなど）に基づいて失敗を特定し、信頼度スコアと改善提案を提供します。

なぜ重要か

従来、エージェントの性能低下時に問題原因を特定するには、エンジニアが実行トレースを手作業で確認する必要があり、スケール運用時の大きなボトルネックでした。自動診断により、診断時間を数時間から数分に短縮できる可能性があります。

注目点

検出機能は 2 段階で動作します。第 1 段階で 9 つの親カテゴリに分類された失敗を検出し、第 2 段階でそれらの因果関係をたどって根本原因を特定し、システムプロンプトまたはツール定義のいずれに修正が必要かを推奨します。