NTT、少資料から専門LLM育成のチューニング技術

NTTは課題をデータ量の問題として捉えている。企業固有の知識を定着させる従来のチューニングは数十ギガバイトのデータを要するとされ、一方で個々の企業の業務文書は最大約100ページのPDF約1,000冊分にとどまり、標準的な学習には到底足りない。同じ資料を単純に繰り返すと、特定の表現や条文番号に過適合し、言い回しの違う質問に答えられなくなる。オープンウェブから類似資料を集めるとノイズが混入しやすいという。

この手法は人が学ぶ仕方を取り入れている。同じ文章を読み返す代わりに、モデル自身が教材作成者として、業務での知識の使われ方を想定したFAQ・表・対話形式のデータを生成する。NTTによれば、この生成エンジンを動かすのはtsuzumi自身で、小さな種データを数十億〜数百億トークンの学習データに拡張する。ベンチマークでは、FinePhraseなど従来の言い換えベース手法が最大73.3%だったのに対し、新手法は83.1%を記録。専門知識を注入しても汎用領域の能力は低下しなかったとNTTは報告する。

NTTはこの手法を検索拡張生成（RAG）の代替ではなく、併用する位置づけとしている。絶対的な精度を優先する場面ではRAGが推奨される一方、コールセンター音声のリアルタイム解析のように外部検索が遅延やGPUコストを増やす高速処理では、モデルへの知識定着が適するという。NTTはグループのソリューションに組み込む計画で、自社データセンターでチューニングを実行しカスタマイズ済みモデルを返すマネージドサービスも検討中。NTT R&D FORUM 2026では、日々の文書からモデルが自律的に知識グラフを構築・更新して再学習する「自己進化型tsuzumi」構想も披露する。NTTはこれを、日本の企業データ環境に適応した再帰的自己改善への一歩と位置づける。