LangChainが評価駆動開発を公開

LangChainは問題を身近な言葉で説明する。プロンプトの手作業テストは当初は機能するが、エージェントが成長すると最新の変更が改善か悪化かを判断しにくくなる。その答えとして、エージェントが非決定論的で同じ質問に異なる答えが返り、複数の正解があり得ることを踏まえて調整したテスト駆動開発の規律を取り入れた。

ガイドの実例は、create_ticketツールを追加する社内ドキュメントエージェントだ。ツール構築後は平均スコアが上がるが、VPN接続に関するハウツー質問がドキュメント検索ではなくチケット起票を始める。トレースからツール説明が広すぎることが分かり、IT対応が必要なリクエストに限定すると全例が通る。

LangChainはまた、小規模データセットでの満点が常に目標とは限らず、同じ例で調整すると過適合し得ると警告する。自動化として、プルリクエストでの高速チェック、夜間やリリース前の低速なLLM審査評価、さらに本番でのライブトレース採点、アノテーションキュー、ダッシュボードによる出荷後の回帰検出を提案する。