Laya検証：合成データで56%向上も実利用で30%低下

この実験は実務上の制約から始まった。自由形式の質問を約1,000個の中から正しいテーブルに高速で振り分ける必要があり、しかも自前のハードウェアで、スキーマメタデータを外部APIに送信せずに行う必要があった。Layaは紙の上ではぴったりに見えた。非自己回帰型モデルであり、状態と定義済みの選択肢を持つ型付き質問を受け取り、1回のフォワードパスで較正された選択を返すからだ。しかし512トークンの入力制限により、約15件の候補を検索してからLayaに判断させる2段階設計を迫られた。

検索が上限を決めることが判明し、語彙検索はスキーマ語彙に苦戦した。ユーザーは「店舗別の日次売上」と言うが、テーブル名はXQR7_DTV_AGGだからだ。小さな埋め込みモデルがこのギャップを安価に大きく埋めた。手書きの略語展開約30件はわずか1ポイントの追加にとどまった。また、直近2件のユーザー発話を連結すると全指標がほぼ倍増することも判明した。履歴なしではフォローアップ質問を解決できないからだ。

ファインチューニングが本命だった。ドキュメントは無料で手に入った。各テーブルのドキュメントから「典型的な言い回し」文字列を抽出すると、約25,000件のクエリ・テーブルペアが得られた。56スレッドのXeonでの学習は1エポック約17時間、4エポックでほぼ3日かかった。検証精度は56%上昇したが、115件の実際の会話ターンでの精度は30%低下した。モデルが会話トラフィックではなく合成データの簡潔なキーワードスタイルを学習したためだ。テーブル保留の検証セットは同じ合成分布からクエリが来ていたため、この問題を一切検知できなかった。筆者の推奨は、モデルではなく学習データのスタイルを修正すること、判断段階の前に検索に投資すること、Layaは主に信頼度ゲートとして使い、確信があるときはローカルで回答し、そうでなければより大きなLLMにエスカレーションすることだ。