AWSとLangChainが、AIエージェントの信頼性を本番環境前に検証するためのLangSmith評価フレームワークを紹介

LangChain、Anthropic、AWSの知見を組み合わせた実践ガイドで、深いエージェント（複数ステップで自動判断するAI）の評価に用いる5つのパターン、pytestとLangSmithを使ったオフライン評価、本番環境での監視設定を解説。テキストからSQL文を生成するエージェントをAmazon Bedrockで動作させるケーススタディを含む。

エージェント評価は、LLM（テキストを理解・生成するAI）の単純な出力評価と異なり、非決定性（同じ入力で結果が変わる可能性）、エラー伝播（初期ステップの誤りが後続ステップに影響）、予期しない有効解（モデルが想定外のアプローチを発見）の3つの特性により複雑化。複数回の試行（trial）を実施してpass@k（k回中1回以上の成功）やpass^k（k回すべて成功）で性能を測定する。

評価には3種類のグレーダー（採点ロジック）を組み合わせる：コードベース（文字列マッチやツール呼び出し検証など決定論的）、LLMベース（別のLLMが出力を評価し柔軟性が高い）、人間による評価（キャリブレーション用の金標準だが費用が高い）。テキストからSQL文を生成するエージェント向けには、SQLクエリ実行の有無、回答の形式、DML文の実行有無をコードベースで検証することを推奨。