AWSがAgentCoreとGitHub ActionsでAIエージェント評価を自動化

AWSのガイドは、コード変更が頻繁なエージェント開発での品質確保という課題に応える。自動評価がないと、回帰はユーザーが不満を言うまで気づかれない。提案された解決策は、開発ワークフローに評価を直接統合し、本番に届く前に問題を検出する。

アーキテクチャは複数のAWSサービスを使用。AgentCoreランタイムがエージェントとMCPサーバーをホストし、Cognitoが認証を提供、GitHub Actionsがパイプラインを実行する。主な課題はヘッドレスCIパイプラインのOAuthで、AWSはロールチェックをバイパスするM2Mトークンで解決するが、CIでロール強制がテストされない点は留意。

ガイドには意図的に悪いシステムプロンプトを使った実例が含まれ、パイプラインがスコアを0.0に落として回帰を検出し、修正後に合格することを示す。このアプローチの成功は適切なしきい値設定に依存する。LLM-as-judgeのスコアには固有のばらつきがあるため。