AIエージェントを7次元36指標で採点するUAEF公開

今回の公開は、AWSが自社ブログで説明している実務上の問題に対処するものだ。AWS上でAIエージェントを構築するチームはLangGraph、LangChain、Strands Agents、Amazon Bedrock AgentCoreなど様々なフレームワークを使っており、それぞれがエージェントの実行を独自の方式で記録する。評価ツールも同じ境界に沿ってきたため、チームは単一フレームワークのトレース形式に合わせて指標、採点ロジック、結果の保存を構築し、フレームワークを切り替えたり複数のフレームワークでエージェントを動かしたりする際に作り直す必要があった。UAEFのアプローチは、まず正規化し、次に採点するというものだ。アダプターが各フレームワーク固有の実行を標準形式のAgentTraceに変換する。すべての指標、モード、レポートがフレームワーク固有の形式ではなくAgentTrace上で動作するため、トレースの出所に関係なく採点結果は同一になる。AWSによれば、通信、医療、金融サービスの12組織の顧客がUAEFを使い、単一の一貫した指標セットでエージェントを評価し、リリース前にバージョンを比較したという。また、各評価をAmazon DynamoDBとAmazon S3に実験として記録し、比較エンジンが設定可能なしきい値（デフォルト5%）を用いて指標を性能劣化、改善、変化なしに分類する。UAEFは同じエンジンの上で2通りの使い方ができる。ノートブック、スクリプト、CI/CDパイプライン向けのPythonライブラリか、ローコードWebインターフェースを備えたデプロイ可能なAWSサービスかだ。どちらの経路も同じストアに書き込むため、結果はどちらの経路で生成されたかに依存しない。