本番AIエージェントの9段階評価枠組み

AWSの投稿は、エージェントの品質を最後のQA工程ではなくライフサイクル全体の問題として位置づけている。9段階は成功の定義から自動フィードバックループまで及び、各段階がエージェントの成熟に伴いチームが直面する問いに対応する。フレームワークはツール、エージェント、マルチエージェントの3レベルに同時に適用され、各レベルが独自のゴールデンセット、評価器、昇格基準を持つ。投稿は、エージェント単体の品質だけでは、ツールも単一エージェントも見えない第3の障害面を見逃すと強調する。

ローンチ前のCustomer Insights Agentのテストでは、エージェントが$410.08を「$410.08 Million」と報告し、Sales RevenueをSales Revenue excluding Adjustmentsと表示し、データにないAnnual Recurring Revenueの推計を提示し、自らの計算を出典のある事実として示す例が表面化した。監視はずっと正常で、システムが応答したことは示すが、回答が正しいかは示さなかった。合格率を78パーセントから38パーセントに落とした協調リリースの不一致は、ローンチ前から続き、データ、プロンプト、コード、モデルの変更や毎週の上流データ更新で拡大する関連リスクとして挙げられている。

AgentCore Evaluationsは結合組織として挙げられ、安全性はAmazon Bedrock Guardrails、メトリクス・アラーム・トレーシングはAmazon CloudWatch、評価の永続化はAmazon S3とAmazon Redshift、カスタム評価器はAWS Lambdaが担う。投稿は、安全基準を満たせないエージェントは出荷も稼働継続もしないとし、5次元のうち最も難しい品質に最も紙幅を割いている。残る次元はパフォーマンス、コスト、運用制御だ。