AIToday
大規模言語モデルオープンソースAIZenn AI/ML掲載日時: 2026年11月4日 6:00

LLM評価はGold Datasetの自社管理で継続

LINEで送る
LLM評価はGold Datasetの自社管理で継続

3つのポイント

  1. 何が起きたか

    deepeval 4.3.2(Apache-2.0、2026年11月時点でGitHubスター約19,300)のZenn記事はGold Datasetを企業自身がGitで管理すべきだと指摘した。

  2. なぜ重要か

    著者は評価をアップグレードで改善するフレームワーク層と、放置すれば劣化するデータセット層に分け、後者を怠る企業はモデルを切り替えるたびに同じバグを再発させると論じた。

わからないところ、AIに聞けます

質問と回答はこのページに公開されます。

こういう要約が、毎朝あなたのメールに届きます。

背景と解説

よく聞く不満が出発点だ。「Evalを導入した」という報告の多くは、フレームワークをpip installしたという意味でしかない。最初の1カ月を過ぎると、当初書いた20件のテストケースは更新されず、新たな本番障害パターンがテストに入ることもなく、モデル切り替えが同じ基準で測られているか誰にも分からない。著者はフレームワーク、Gold Dataset、合否しきい値の3層に分け、DeepEvalのアップグレードは1層目しか改善しないと指摘する。

記事の多くは4.3.2を実際に動かした実践的な詳細だ。PatternMatchMetricは部分一致ではなくfullmatchを使うため、禁止語の検出にはパターンに否定先読みが必要になる。JsonCorrectnessMetricは決定論的にスコアを出すが初期化にキーが必要で、LLMを呼ぶメトリクスとそうでないメトリクスという単純な区分が難しくなる。データ面では、CSVやJSONLをGitに置き、additional_metadataに来歴を記録し、インシデントIDと承認済みの期待出力があり重複がないケースだけを完了とすべきだと勧める。

LLMジャッジには3つの管理を求める。人間のラベルに対してCohenのκでジャッジを測ること、決定論的メトリクスを先に置くこと、同じテストを複数回実行して分散を確認することだ。κが0.6を下回る場合はジャッジのプロンプトかモデルを見直すべきという目安も示す。限界として、良いフレームワークは良いデータセットの代わりにならないと明言する。ツール選びの前に、自社の解答キーを誰が維持するかを決める必要がある。

よくある質問
DeepEvalの組み込みデータセット機能は社内データセットの代わりになるか?
完全にはならない。DeepEvalのpushとpullはConfident AIのマネージドAPIを経由するため、データ履歴を社内に保持したい企業はGit管理のCSVやJSONLファイルをGold Datasetの基盤にすべきだ。ローカルのJSONLデータセットはpushやpullなしで読み込み・実行できる。
APIキーなしで実行できるメトリクスはどれか?
ExactMatchMetric、PatternMatchMetric、AgentLoopDetectionMetricは初期化時にLLMクライアントを必要としない。JsonCorrectnessMetricとToolCorrectnessMetricはスコアリングは決定論的だが初期化時にキーが必要で、GEvalはLLMジャッジを使う。
各データセット層の推奨サイズは?
Core層は20〜50ケース、Production層は週5〜10件の新規ケースが推奨され、Regressionケースは蓄積され削減されない。
LINEで送る

あなたの仕事に関係するAIニュースを、毎朝お届けします。

業界と使っているAIツールを選ぶと、仕事に関係するニュースが毎朝届きます。

登録無料・Googleアカウントなら30秒・いつでも解除できますAITodayについて →

AIに質問

この記事についてわからないことをAIに質問できます。AIはこの記事・AIToday の過去記事・Wikipedia を読み、出典を付けて答えます。Q&Aはこのページに公開され、他の読者も読めます。

質問と回答はこのページに公開されます。

このようなAIの動きを、御社の業界・競合に合わせて毎日届ける法人プランもあります → 詳しく見る

関連記事

次の記事へDraxなど英で1GW超AIデータセンター共同開発へ