AIToday
大規模言語モデルDatabricks AI Blog掲載日時: 2026年10月28日 4:00

Databricks、1項目の修正で全体エラー9%増

LINEで送る
Databricks、1項目の修正で全体エラー9%増

3つのポイント

  1. 何が起きたか

    Databricksは約40の構造化フィールドを抽出する案件で、revisionフィールドのスキーマ修正が同フィールドのエラーを約半分に減らす一方、全フィールドのエラーを9%増やしたと報告した。

  2. なぜ重要か

    一つのフィールドの修正はモデルがスキーマ全体を読むため他フィールドに波及する。

誰に効くか文書から請求書や注文書の項目を抽出するパイプラインを運用する情報システム部門やデータエンジニアは、プロンプト変更のたびに全フィールドの回帰を確認する負担を負う。同社の手順は、変更の良し悪しを本番前に判定する材料になる。

わからないところ、AIに聞けます

質問と回答はこのページに公開されます。

こういう要約が、毎朝あなたのメールに届きます。

背景と解説

同社の実験では、revisionフィールドのスキーマ修正だけを行った候補は、revisionエラーを49%減らした一方、全フィールドのエラーを9%増やした。修正をそのまま出荷せず、フィールド固有のルールをグローバルプロンプトからスキーマの説明へ移すと、プロンプトは元の半分未満の長さになり、全体のエラーは16%減、見積もり関連のエラーは30%減った。

precision modeはプロンプトもスキーマも変えずにエラーを24%減らし、主に繰り返し行項目での値の捏造を抑えた。ただしrevisionエラーにはほとんど効かず、定義の問題はスキーマのルールでしか直らなかった。両者を重ねると残りのエラーの19%がさらに減り、全体で約3分の1、revisionで約3分の2の削減になった。

評価では、同じテストセットで3回スコアを測り、本番構成の標準偏差をノイズフロアとして扱う。精度とカバレッジを併記し、結果をBETTERやSUSPECTなどの判定に要約したうえで、最終的な昇格は人間が判断する。ある候補は全体ではINCONCLUSIVEだったが、レビュアーがごく少数の文書でしか付けていないyes/noフラグをほぼ全文書で埋めており、こうした深刻な回帰は集計指標が許容範囲でも昇格を妨げうる。

よくある質問
なぜ一つのフィールドを直したのに全体のエラーが増えたのですか?
モデルがスキーマ全体を読むため、あるフィールドの説明変更が無関係な行項目フィールドで値を捏造させるなど、他の箇所に波及したからである。
最終的にエラーはどこまで減りましたか?
プロンプトとスキーマの再構成とprecision modeの併用で、全フィールドのエラーは32%、revisionエラーは64%減った。
精度だけでなく何を一緒に見るべきですか?
カバレッジ(正解が非nullのフィールドのうち予測を返した割合)を併記する。精度が上がってもカバレッジが大きく下がる候補は昇格前に調査する。
Databricks AI Blog元記事を読む
LINEで送る

あなたの仕事に関係するAIニュースを、毎朝お届けします。

業界と使っているAIツールを選ぶと、仕事に関係するニュースが毎朝届きます。

登録無料・Googleアカウントなら30秒・いつでも解除できますAITodayについて →

AIに質問

この記事についてわからないことをAIに質問できます。AIはこの記事・AIToday の過去記事・Wikipedia を読み、出典を付けて答えます。Q&Aはこのページに公開され、他の読者も読めます。

質問と回答はこのページに公開されます。

このようなAIの動きを、御社の業界・競合に合わせて毎日届ける法人プランもあります → 詳しく見る

関連記事

マイクロソフトがAIエージェントで攻撃対抗サービス提供開始

Microsoft Ignite 2026でマイクロソフトは赤・青・緑チームのエージェントを組み合わせ攻撃模擬・検知調査・脆弱性修正を行うMicrosoft Perceptionの一般提供を発表した

NEWPublickey4時間前

Windows Server 2028がパブリックプレビュー公開

Microsoft Ignite 2026でWindows Server 2028のパブリックプレビューが公開され、Microsoft Foundry、Windows ML、vLLM、Llama.cppによるAI推論ホス…

NEWPublickey4時間前

AUMOVIOがLLMの唯一の経路をDatabricksに統一

AUMOVIOはDatabricks Unity GatewayをLLMへの唯一の経路に採用

NEWDatabricks AI Blog4時間前

CADMAGEDDON、5ベンチマークで最先端CADモデル超え

CADMAGEDDONはBenchCADの64³ボクセルIoUで、1000部品のサブセットにおいて0.991を記録し、Claude Sonnet 5.5の0.963、Claude Opus 5.5の0.962、GPT-6…

NEWAI Weekly4時間前

MIT Technology ReviewのAI指数、AIは遍在

MIT Technology ReviewのAI誇大広告指数はAIの広がりを示し、GoogleのAI Overviewsが広告収入で数十億ドルを失わせたことやAI支援のサイバー攻撃を挙げた

NEWMIT Technology Review AI4時間前

Thomas Nagel、AI意識説を「馬鹿げている」と一蹴

哲学者トーマス・ナゲル氏はバーグルエン賞受賞後のインタビューで、大規模言語モデルが意識を持つ可能性を真剣に受け止めるのは「馬鹿げている」と述べ、AnthropicのClaudeへのアプローチを「犯罪的」と呼んだ

NEWWIRED AI4時間前
次の記事へGPT-6.1 Terra登場、PC操作に対応