AgentCore最適化、AppWorld95.83%

AgentCoreの最適化はAmazon Bedrock AgentCoreの可観測性と評価機能を基盤とし、本番トレースを使って設定変更を提案し、オフラインバッチ評価とオンラインA/Bテストで検証して優れたものを採用する。システムプロンプト最適化ツールは、ファイルシステムに保存された評価済みトレースを調査するエージェント型リフレクターを通じて動作し、成功した実行と失敗を分けるパターンを特定し、プラットフォームレベルのガードレールを通過した編集案を返す。

2つのリフレクター設計が比較されている。Single Agent Reflectorはトレースセット全体を1回のパスで処理し、一貫した編集セットを返す。実験的なSub-Agent Reflectorはエージェントの群れを使い、個々のトレースを独立に分析した後、オーケストレーターが結果を集約する。ベンチマーク結果はこの設計上のトレードオフを反映している。Single Agent Reflectorは品質あたりのコストで最良のバランスを提供し、Sub-Agent Reflectorは最高の品質上限を達成する。特に多様な失敗モードが1回のパスでは見逃されうるAppWorldで顕著だ。

チームにとっての実践的な意味はガードレールと検証ワークフローにある。長さ上限、安全審査、トレースの逐語フレーズ禁止は、よくある最適化のドリフトを防ぐことを目的とする。しかしSub-Agent Reflectorは実験的リリースの位置づけであり、本番での幅広い利用への道はマネージド offeringに移行するかどうかにかかっている。このアプローチを評価するチームにとって、本文のベストプラクティス（多様な10〜50件のトレースから始め、スカラー報酬と並んで自由記述のフィードバックを含める）は、既存の評価ルーチンを全面的に置き換えるのではなく、段階的な導入を想定した設計であることを示唆している。