Enterprise AI評価、コホート比較へ転換

VB Transform 2026で、3人のエンタープライズテクノロジーリーダーが、企業がAIエージェント品質をどのように評価するかについての重大な盲点に対処した。LangChainのCEOであるHarrison Chase、ConvivaのCTOおよび共同創業者であるHui Zhang、CoreWeaveのエンジニアリング部門長であるEmmanuel Turleyは、エンタープライズ評価慣行における根本的なシフトについて述べた。彼らが指摘した問題は欺瞞的である。単一のAIエージェント会話は孤立した状態でスコアリングすると完璧に見えても、壊れた製品を隠蔽する可能性がある。このギャップは組織がAI品質保証をどう考えるかを再構築し、個別のトレーススコアリングから離れ、ユーザーコホートをベースラインと比較する方向へ向かわせている。このような方法論的シフトとともに、企業は大規模な汎用言語モデルに依存するのではなく、エージェント出力を評価するために訓練された専門的なAIモデルである、より安価で限定的なジャッジモデルを採用している。しかし、業界は2つの主要なジャッジングアプローチ間の未解決の緊張に直面している。agent-as-judge（別のAIエージェントを評価するために1つのAIエージェントを使用）はLLM-as-judgeに置き換わっておらず、Chaseが指摘したようにLLM-as-judgeは依然としてデフォルトである。より深い課題は、Zhangが説明したように、スケーラビリティと根拠付けの矛盾である。自動ジャッジング（エージェントまたはLLM）はスケール規模でアウトカムを評価できるが、それらの評価を現実世界の真実に根付かせることは難しい。対照的に、人間によるレビューは観察された現実に基づいて判断を根付かせることができるが、本番システムが生成する会話量にはスケーリングできない。Zhangは窮状を要約した。「スケーラブルだが根拠のない、つまりエージェントがジャッジであれLLMがジャッジであれ、アウトカムをグレードし、ワークをグレードする。それでもそれを根拠付けるのは非常に難しく、その場合は人間を使うしかないのだが、それはスケーラブルではない。」

VB Transform 2026で明らかになった根本的な緊張関係は、エンタープライズAI導入が成熟していく過程で得られた重要な認識を反映している。つまり、洗練された単一のインタラクションは製品を検証しないということだ。個別のトレースをスコアリングする従来のアプローチは、虚偽の安心感を生み出す。Harrison Chase、Hui Zhang、Emmanuel Turleyは、AI評価における根本的なトレードオフを強調した。自動ジャッジング（エージェントまたは大規模言語モデル）はスケーラビリティを提供するがリアルユーザーのアウトカムに根付かせることに苦労する一方、人間によるレビューは実際の真実に基づいて調査結果を根付かせることができるがスケーラビリティを欠く。コホート比較と安価なジャッジモデルへのシフトは、実用的な中間地点を表している。高価でモノリシックな評価を、個別のケースを磨くのではなく、母集団全体で製品の健全性を捉える、より軽量だが分散型のベースラインに置き換えるものである。

まだコメントがありません。最初のコメントを投稿しましょう！