AIチームメイトの品質管理にLangSmith活用

Dosuの事例はAI製品に共通する軌跡をたどる。小規模なら機能するものが大規模では機能しなくなる。初期にはチームが全応答をgrepやprint文で手作業確認し、それがDosuのアーキテクチャ形成に役立った。しかしDosuが数千のリポジトリに広がるとその確認は非現実的になり、変更の影響を測り続ける手段が必要になった。

同社の答えは評価駆動開発で、評価セットがDosuの中核ロジック、モデル、プロンプトへの変更の基準となる。LangSmithが本番監視と検索を提供し新たな障害モードを発見、それがオフライン評価に還元される。Dosuは現在、ライブトラフィックからのデータセット収集の自動化を進めており、ループをさらに短縮できる可能性がある。

投稿はLangChainとの協力関係にも触れる。Dosuの性能向上はLangChainチームのサポート負担を減らし、LangSmithの作業時間を生み、それがDosuの開発を加速する。