
何が起きたか
deepeval 4.3.2(Apache-2.0、2026年11月時点でGitHubスター約19,300)のZenn記事はGold Datasetを企業自身がGitで管理すべきだと指摘した。
なぜ重要か
著者は評価をアップグレードで改善するフレームワーク層と、放置すれば劣化するデータセット層に分け、後者を怠る企業はモデルを切り替えるたびに同じバグを再発させると論じた。
こういう要約が、毎朝あなたのメールに届きます。
よく聞く不満が出発点だ。「Evalを導入した」という報告の多くは、フレームワークをpip installしたという意味でしかない。最初の1カ月を過ぎると、当初書いた20件のテストケースは更新されず、新たな本番障害パターンがテストに入ることもなく、モデル切り替えが同じ基準で測られているか誰にも分からない。著者はフレームワーク、Gold Dataset、合否しきい値の3層に分け、DeepEvalのアップグレードは1層目しか改善しないと指摘する。
記事の多くは4.3.2を実際に動かした実践的な詳細だ。PatternMatchMetricは部分一致ではなくfullmatchを使うため、禁止語の検出にはパターンに否定先読みが必要になる。JsonCorrectnessMetricは決定論的にスコアを出すが初期化にキーが必要で、LLMを呼ぶメトリクスとそうでないメトリクスという単純な区分が難しくなる。データ面では、CSVやJSONLをGitに置き、additional_metadataに来歴を記録し、インシデントIDと承認済みの期待出力があり重複がないケースだけを完了とすべきだと勧める。
LLMジャッジには3つの管理を求める。人間のラベルに対してCohenのκでジャッジを測ること、決定論的メトリクスを先に置くこと、同じテストを複数回実行して分散を確認することだ。κが0.6を下回る場合はジャッジのプロンプトかモデルを見直すべきという目安も示す。限界として、良いフレームワークは良いデータセットの代わりにならないと明言する。ツール選びの前に、自社の解答キーを誰が維持するかを決める必要がある。
業界と使っているAIツールを選ぶと、仕事に関係するニュースが毎朝届きます。
登録無料・Googleアカウントなら30秒・いつでも解除できますAITodayについて →
この記事についてわからないことをAIに質問できます。AIはこの記事・AIToday の過去記事・Wikipedia を読み、出典を付けて答えます。Q&Aはこのページに公開され、他の読者も読めます。
このようなAIの動きを、御社の業界・競合に合わせて毎日届ける法人プランもあります → 詳しく見る
FlashLabsがB2B営業プラットフォームFlashRev内のAIエージェントHermes Agentを更新し、複数セッション、ファイル管理、5種類のパターンに対応する定期タスクを追加した

Artificial Analysisの評価で、OpenAIのGPT-6.2 AstraとSolは前世代より短く直接的な回答を返す一方、「不確実性を認める」特性スコアがAstraは96から24、Solは98から51へ低下…

11月21日午前1時48分から午前5時21分(PT)、OpenAIのAPIとChatGPTへのリクエストが最大75%失敗

OrcaRouterがAlibabaの最新フラッグシップモデルQwen4 MaxのAPI提供を開始し、開発者はOrcaRouter経由で呼び出せるようになった

開発者のAI操作クラウドブラウザが、YouTube告知をXへ投稿する際に1日で3回HTTP 403で遮断された

pptxgenjsはfontFaceをlatin/ea/cs直接指定で書き込むため、テーマのフォントを変えても文字が変わらない
