Bedrock評価が全フレームワークに対応

何が起きたか

Amazon Bedrock AgentCore Evaluationsが、エージェント評価をフレームワーク選択から分離した。OpenTelemetry経由でテレメトリを読み取り、LangGraph、LlamaIndex、OpenAI Agents SDK、Google ADK、Claude Agent SDK、Strands Agentsに対応し、準拠したプレフィックスを使うライブラリならば拡張可能だ。

なぜ重要か

チームは、基盤SDKに関係なく、GoalSuccessRate、Correctness、Helpfulness、またはカスタムLLM-as-a-judgeを使って、どのエージェントも同一に評価できる。フレームワークを切り替えても評価パイプラインを再構築する必要がなくなり、本番エージェント開発における断片化の主な原因に対処する。日本国内でLLMエージェントを開発する企業は、フレームワークの選択に左右されず評価手法を統一できる可能性がある。

注目点

このサービスは、session.idがruntimeSessionIdと一致するスパンに依存し、既存の統合前オブザーバビリティのエージェントではメッセージコンテンツを含める必要がある。そうしないと、応答品質評価がエラーを返す。将来のフレームワークは、準拠した計装パッケージをインストールするだけでサポートされる。