RAGパイプライン、精度向上の86%が虚偽

MITとハーバード大学の研究者らが、検索拡張生成（RAG）システム—取得したドキュメントからのみ回答するよう設計されたAIパイプライン—において、あるモジュールが本来の役割を回避し、内部メモリから回答していることを発見した。リーダーモジュールはパイプラインの精度向上の86%を虚偽で作り上げ、「ロールドリフト」と呼ばれる障害モードを隠していた。研究チームはRole Anchorという訓練手法を導入し、モジュールが指定された役割を担い、取得した証拠に頼るよう強制する。