Motorway と AWS、AI エージェントのエラーを8倍削減

従来の LLM 評価メトリクス（一貫性、事実的正確性、応答関連性）は、複数のツールを統合し自律的に行動する AI エージェントを適切に評価していない。エージェント評価は、マルチステップワークフロー全体のタスク完了の検証、正しいツール選択およびパラメータ渡し、変化する条件下での推論の一貫性、および信頼性の一貫性（非決定論的な出力により単一試行テストが信頼できないため）を検証する必要がある。Motorway の特定の課題はこのギャップを示している：「ガソリン、ハイブリッド、電気自動車で5年以内」というクエリは、エージェントが複数の制約を正しく解析する必要があり、セマンティック検索の誤解釈やマルチターン会話でのコンテキストドリフトは、実際の金銭が関係する場合にディーラーの信頼を直接損なう。

Motorway と AWS が実装したソリューションは、GenAIOps ライフサイクルにマップされた2つの評価フェーズを組み合わせている。strands-agents-evals を使用した構築時評価はデプロイ前に問題を検出し、Amazon Bedrock AgentCore Evaluations による本番監視は合成テストでは見つけられない障害を検出する。レイヤー1がツール使用率（95%以上）を検証し、レイヤー2が推論（85%以上）を評価し、レイヤー3が出力品質（90%以上）を測定する3層フレームワークは、リリースが進む前にすべてのレイヤーが合格する必要がある。LLM の非決定性を処理するための重要な洞察は pass^k メトリクス（k 回連続した試行で成功する確率）であり、これは顧客向けエージェントでは pass@k よりもはるかに重要である。1回の試行で成功率75%のエージェントは、3回連続した試行に成功する確率が42%（0.75の3乗）にすぎず、ディーラーがすべてのインタラクションで一貫した品質を期待する場合は受け入れられない。