LLM条件付け、効率的手法は流暢さ犠牲 指示チューニングで効果減

Appleの研究者らは、LLMの出力を狙った概念へ導く「条件付け」を、注入と除去の両場面で複数の手法にわたり比較した。従来の評価は対象概念を注入・除去できたかという有効性に偏りがちで、生成品質が見過ごされてきた。今回の検討では、効率的とされるステアリング手法が条件付けを達成する代わりに流暢さを大きく損なうこと、活性化ステアリングが指示チューニング済みモデルではベースモデルほど効かないことが示された。

また、単純なプロンプティングや教師あり微調整は概念注入には向く一方、概念除去は苦手だという非対称性も浮かび上がった。評価の面では、安価に計算できるテキスト指標が高コストなLLM-as-judgeのスコアと強く相関し、条件付け手法の挙動を読み解く手がかりになるという。

実務では、流暢さと制御効果のどちらを優先するか、そしてモデルが指示チューニング済みかベースかによって手法の選択が変わる可能性がある。用途ごとに有効性と生成品質のバランスをどう取るかが焦点となる。