AI検証通過の1,107件中254件が誤答

LedgerMindの事例が注目されるのは、情報源の引用だけでは解決できない失敗の型を切り出しているからだ。システムは別のAIではなく固定ルールのチェッカーを使い、そのチェッカーは1,107件の回答を承認したが、うち254件は依然誤りだった。誤りの大半にあたる191件は、捏造された数値や計算ミスではなく、誤った期間に紐づく実在の数値や、質問に適さない計算方法だった。

2026年9月分が300,000円、2026年10月分が320,000円の給与マスタには両方の金額が含まれる。10月の質問に300,000円と答えるAIは何も捏造していないが、それでも誤った答えを出している。

実務上の教訓は、数値の存在確認は一つの段階にすぎず、その数値が従業員・月・項目にとって正しいかを確認するのは別の段階であり、独自の検証が必要だということだ。