AWSがエージェント（自分で判断して作業するAI）の評価を自動化するツール「Agent-EvalKit」をオープンソース化し、開発環境内で品質検証できる仕組みを提供します。

何が起きたか

AWSがApache 2.0ライセンスのオープンソースツール「Agent-EvalKit」をリリースしました。このツールは、AIコーディングアシスタント（Claude Code、Kiro CLI、Kilo Codeなど）と連携し、エージェントがツールをどう呼び出し、どのデータを取得し、その結果をどう使ったかを追跡する6段階の評価プロセス（計画、テストデータ生成、トレース追加、実行、評価、レポート作成）を自動化します。

なぜ重要か

AIエージェントは自動的に複数のツールを選択して実行するため、最終的な出力は良くても、根拠となるデータが不正確だったり、必要な検証ステップをスキップしていたりする失敗が表面に現れません。従来の評価手法ではこうした問題を捉えられず、多くの開発チームが自前で評価インフラを構築する余力を持たないため、このツールによって品質検証の負担が軽減されることが期待されます。

注目点

Agent-EvalKitは開発環境内で動作し、自然言語で品質目標を指定すると、テストケース生成から実行、コード内の改善箇所の特定まで一連のワークフローが自動化されます。Strands Agents SDK、LangGraph、CrewAIなどの主要フレームワークに対応しており、Amazon Bedrockと組み合わせて利用できます。