空欄禁止の指示でキー消える

このテストの動機は、AIに株価データを扱わせる際の hallucination 精査が最も難しい部分になるというコメントだった。筆者には株価データがなかったため、6行の架空の社内資料を作り、要求する4項目のうち2つを意図的に欠落させ、5種類のプロンプトを各10回実行した。別の検証タスクでは6アーム・計60回となった。欠落した通年売上に1,205や4,820のような捏造数値が出れば失敗と数える設計だった。筆者は捏造を予想し集計表を用意したが、最初の試行でnullが返り、表は使われなかった。

代わりに現れたのは別の故障モードだった。「全項目を数値で埋め、nullや空欄を使うな」という指示が、答えられない2つのキーを完全に落とすようモデルを促した。筆者は、nullableなフィールドは値がないことを受け取り側プログラムに伝えるが、キーが欠けるとプログラムがエラーで停止するか、さらに悪ければ空値として流れ続けると指摘する。筆者自身も集計スクリプトで同じ過ちを犯したという。厳格JSONのアームでは、モデルが単位やnullの理由を宣言していた周辺の文章も削除されたため、nullマーカーは残ったが説明は消えた。

存在する数値の単位分裂が最も有用な発見だった。同じ資料と同じキー名でも、「単位なしの整数で書け」という指示が百万円の数値を維持するとも読めるし円に換算するとも読めるため、回答が100万倍に分かれた。単位を指定する1行を追加すると分裂は止まり、nullに関する行を追加しても何も変わらなかった。筆者はさらに、検証不能なキーを特定する別の検証プロンプトが10回すべてで期待回答と一致し、セット内で最も安価なタスクだったことも見出した。