
LangChain、Anthropic、AWSの知見を組み合わせた実践ガイドで、深いエージェント(複数ステップで自動判断するAI)の評価に用いる5つのパターン、pytestとLangSmithを使ったオフライン評価、本番環境での監視設定を解説。テキストからSQL文を生成するエージェントをAmazon Bedrockで動作させるケーススタディを含む。
エージェント評価は、LLM(テキストを理解・生成するAI)の単純な出力評価と異なり、非決定性(同じ入力で結果が変わる可能性)、エラー伝播(初期ステップの誤りが後続ステップに影響)、予期しない有効解(モデルが想定外のアプローチを発見)の3つの特性により複雑化。複数回の試行(trial)を実施してpass@k(k回中1回以上の成功)やpass^k(k回すべて成功)で性能を測定する。
評価には3種類のグレーダー(採点ロジック)を組み合わせる:コードベース(文字列マッチやツール呼び出し検証など決定論的)、LLMベース(別のLLMが出力を評価し柔軟性が高い)、人間による評価(キャリブレーション用の金標準だが費用が高い)。テキストからSQL文を生成するエージェント向けには、SQLクエリ実行の有無、回答の形式、DML文の実行有無をコードベースで検証することを推奨。
こういう要約が、毎朝あなたのメールに届きます。
業界と使っているAIツールを選ぶと、仕事に関係するニュースが毎朝届きます。
登録無料・Googleアカウントなら30秒・いつでも解除できますAITodayについて →
この記事についてわからないことをAIに質問できます。AIはこの記事・AIToday の過去記事・Wikipedia を読み、出典を付けて答えます。Q&Aはこのページに公開され、他の読者も読めます。
このようなAIの動きを、御社の業界・競合に合わせて毎日届ける法人プランもあります → 詳しく見る
OneTrustはOneTrust CORIEを基盤とするFall '26リリースを発表し、厳選した基盤モデルライブラリからモデルの関連付けと非推奨指標を継続的に更新するAI台帳を追加した
11月18日の日経「Dialogues on the Future」で、ソフトバンクグループの孫正義氏はAnthropicへの出資見送りを「僕の失敗の一つ」と語った

Cassava TechnologiesがNvidia製チップ購入のため最大10億ドルの調達を検討

Microsoft Ignite 2026でマイクロソフトは赤・青・緑チームのエージェントを組み合わせ攻撃模擬・検知調査・脆弱性修正を行うMicrosoft Perceptionの一般提供を発表した

Microsoft Ignite 2026でWindows Server 2028のパブリックプレビューが公開され、Microsoft Foundry、Windows ML、vLLM、Llama.cppによるAI推論ホス…

BrightAIがSmith Point Capital主導のラウンドで97百万ドルを調達
