RAGはLLMの回答前に外部データを検索する仕組み

解説記事はRAGを、大規模言語モデルの基本的な限界への実用的な対処法として位置づける。LLMは大規模データセットで学習するが、企業の最新マニュアルや社内規則、顧客情報は知らず、学習後に追加された情報を自動で学ぶこともできない。RAGはモデルが答える前に外部データを検索することでこれを補う。経費精算は毎月25日締めという社内規則の例が、関連するテキストを検索してLLMに渡す流れを示している。

仕組みは準備と回答に分かれる。文書をチャンクに分割し、Embeddingモデルでベクトルに変換して保存する。利用者が質問すると質問もベクトル化され、保存済みのベクトルと比較して、最も近い箇所が質問とともにLLMへ渡される。RAGはベクトル検索に限らず、キーワード検索やハイブリッド手法も含むため、RAGをEmbeddingベースの検索と同一視するのは範囲を過小評価することになる。

注意を促す章が最も実務に関わる。検索が有用な情報を見つけられない場合や、LLMが正しい資料を誤読して根拠のない具体を加える場合にRAGは失敗しうる。マニュアルに25日とだけあるのにAIが「25日午後5時まで」と答える例が挙げられている。情報がない場合はそう伝えるようモデルに指示すること、出典文書を表示すること、重要な判断には人による確認を加えることが対策として提案されている。RAGの構築にはモデルの選定だけでなく、データ取り込み、検索、権限管理、評価、運用にわたる設計が必要だ。