
何が起きたか
deepeval 4.3.2(Apache-2.0、2026年11月時点でGitHubスター約19,300)のZenn記事はGold Datasetを企業自身がGitで管理すべきだと指摘した。
なぜ重要か
著者は評価をアップグレードで改善するフレームワーク層と、放置すれば劣化するデータセット層に分け、後者を怠る企業はモデルを切り替えるたびに同じバグを再発させると論じた。
こういう要約が、毎朝あなたのメールに届きます。
よく聞く不満が出発点だ。「Evalを導入した」という報告の多くは、フレームワークをpip installしたという意味でしかない。最初の1カ月を過ぎると、当初書いた20件のテストケースは更新されず、新たな本番障害パターンがテストに入ることもなく、モデル切り替えが同じ基準で測られているか誰にも分からない。著者はフレームワーク、Gold Dataset、合否しきい値の3層に分け、DeepEvalのアップグレードは1層目しか改善しないと指摘する。
記事の多くは4.3.2を実際に動かした実践的な詳細だ。PatternMatchMetricは部分一致ではなくfullmatchを使うため、禁止語の検出にはパターンに否定先読みが必要になる。JsonCorrectnessMetricは決定論的にスコアを出すが初期化にキーが必要で、LLMを呼ぶメトリクスとそうでないメトリクスという単純な区分が難しくなる。データ面では、CSVやJSONLをGitに置き、additional_metadataに来歴を記録し、インシデントIDと承認済みの期待出力があり重複がないケースだけを完了とすべきだと勧める。
LLMジャッジには3つの管理を求める。人間のラベルに対してCohenのκでジャッジを測ること、決定論的メトリクスを先に置くこと、同じテストを複数回実行して分散を確認することだ。κが0.6を下回る場合はジャッジのプロンプトかモデルを見直すべきという目安も示す。限界として、良いフレームワークは良いデータセットの代わりにならないと明言する。ツール選びの前に、自社の解答キーを誰が維持するかを決める必要がある。
業界と使っているAIツールを選ぶと、仕事に関係するニュースが毎朝届きます。
登録無料・Googleアカウントなら30秒・いつでも解除できますAITodayについて →
この記事についてわからないことをAIに質問できます。AIはこの記事・AIToday の過去記事・Wikipedia を読み、出典を付けて答えます。Q&Aはこのページに公開され、他の読者も読めます。
このようなAIの動きを、御社の業界・競合に合わせて毎日届ける法人プランもあります → 詳しく見る
企業向けAIプラットフォームJinbaを開発・提供するCarnot AI Incが、NVIDIAのスタートアップ支援プログラム「NVIDIA Inception」に採択された

TensordyneのR K Anand氏が寄稿で、挑戦者は学習ではなく推論を狙うべきだと主張し、Juniperが2001年初頭にCisco相手にコアルータ市場の38%を握った例を挙げた

Thinking MachinesがInkling 2 Smallを公開

Anthropicは米国でPro、Max、Ultra各プラン加入者向けにPersonal Financeベータ版を開始

OpenRouterのデータによると、2026年9月28日時点で上位50モデルのトークンのうちオープンウェイトモデルが処理した割合は71.7%

OpenAIは2026年11月5日、サイバーセキュリティー研究向けモデルGPT-6 Cyberを発表した
