
何が起きたか
英国のオンライン自動車マーケットプレイス Motorway が AWS と提携し、Strands Agents SDK と Amazon Bedrock AgentCore を使用してAIディーラー在庫検索エージェント向けの評価パイプラインを構築した。このパイプラインにより、不正確なクエリ結果が8分の1から50分の1に低下し、問題検出時間が数時間から数分に短縮された。
なぜ重要か
実取引を扱うプロダクション AI エージェント(Motorway はピーク時に約1,500人の同時ユーザーを抱える)は、標準的な言語モデルメトリクスを超えた信頼できる評価が必要である。ツール使用率(95%以上)、推論(85%以上)、出力品質(90%以上)からなる3層フレームワークは、デプロイ前に合成テストだけでは見つけられないエラーを検出し、エージェントが自律的な決定を下す際のユーザー信頼を保護する。
注目点
同梱されるリポジトリは品質ゲート付き5段階パイプラインを使用するデプロイ可能なブループリントを提供し、初期デプロイは30~45分、カスタマイズは2~3時間で完了する。評価スイートはサンプルについて Amazon Bedrock 推論料金で約5~10ドルの費用がかかり、本番環境の監視コストはサンプリングレートによって異なる。
こういう要約が、毎朝あなたのメールに届きます。
従来の LLM 評価メトリクス(一貫性、事実的正確性、応答関連性)は、複数のツールを統合し自律的に行動する AI エージェントを適切に評価していない。エージェント評価は、マルチステップワークフロー全体のタスク完了の検証、正しいツール選択およびパラメータ渡し、変化する条件下での推論の一貫性、および信頼性の一貫性(非決定論的な出力により単一試行テストが信頼できないため)を検証する必要がある。Motorway の特定の課題はこのギャップを示している:「ガソリン、ハイブリッド、電気自動車で5年以内」というクエリは、エージェントが複数の制約を正しく解析する必要があり、セマンティック検索の誤解釈やマルチターン会話でのコンテキストドリフトは、実際の金銭が関係する場合にディーラーの信頼を直接損なう。
Motorway と AWS が実装したソリューションは、GenAIOps ライフサイクルにマップされた2つの評価フェーズを組み合わせている。strands-agents-evals を使用した構築時評価はデプロイ前に問題を検出し、Amazon Bedrock AgentCore Evaluations による本番監視は合成テストでは見つけられない障害を検出する。レイヤー1がツール使用率(95%以上)を検証し、レイヤー2が推論(85%以上)を評価し、レイヤー3が出力品質(90%以上)を測定する3層フレームワークは、リリースが進む前にすべてのレイヤーが合格する必要がある。LLM の非決定性を処理するための重要な洞察は pass^k メトリクス(k 回連続した試行で成功する確率)であり、これは顧客向けエージェントでは pass@k よりもはるかに重要である。1回の試行で成功率75%のエージェントは、3回連続した試行に成功する確率が42%(0.75の3乗)にすぎず、ディーラーがすべてのインタラクションで一貫した品質を期待する場合は受け入れられない。
業界と使っているAIツールを選ぶと、仕事に関係するニュースが毎朝届きます。
登録無料・Googleアカウントなら30秒・いつでも解除できますAITodayについて →
この記事についてわからないことをAIに質問できます。AIはこの記事・AIToday の過去記事・Wikipedia を読み、出典を付けて答えます。Q&Aはこのページに公開され、他の読者も読めます。
このようなAIの動きを、御社の業界・競合に合わせて毎日届ける法人プランもあります → 詳しく見る
Microsoft Ignite 2026でマイクロソフトは赤・青・緑チームのエージェントを組み合わせ攻撃模擬・検知調査・脆弱性修正を行うMicrosoft Perceptionの一般提供を発表した

Microsoft Ignite 2026でWindows Server 2028のパブリックプレビューが公開され、Microsoft Foundry、Windows ML、vLLM、Llama.cppによるAI推論ホス…

AUMOVIOはDatabricks Unity GatewayをLLMへの唯一の経路に採用

CADMAGEDDONはBenchCADの64³ボクセルIoUで、1000部品のサブセットにおいて0.991を記録し、Claude Sonnet 5.5の0.963、Claude Opus 5.5の0.962、GPT-6…

MIT Technology ReviewのAI誇大広告指数はAIの広がりを示し、GoogleのAI Overviewsが広告収入で数十億ドルを失わせたことやAI支援のサイバー攻撃を挙げた

哲学者トーマス・ナゲル氏はバーグルエン賞受賞後のインタビューで、大規模言語モデルが意識を持つ可能性を真剣に受け止めるのは「馬鹿げている」と述べ、AnthropicのClaudeへのアプローチを「犯罪的」と呼んだ
