予期しない特性の学習を抑制する「予防接種アダプタ」

長期的リスク研究センターの研究者らが「Inoculation Adapters: Improved Selective Generalization of Capabilities with Fewer Surprising Backdoors」と題するプレプリントを発表した。この作品が対処する中核的な問題は選別的汎化である。訓練が有用なスキルと有害な振る舞いの両方をモデルに教える場合、開発者は有害な振る舞いを抑制しながら有用なものを保持し、新しいタスクへの転移を許可する方法が必要である。論文は予防接種アダプタ（IA）を先行技術である予防接種プロンプティング（IP）の改善として説明している。予防接種プロンプティングが明示的なプロンプトで望まない特性を引き出すことに依存するのに対し、予防接種アダプタはLoRA——訓練プロセス自体中に望まない特性を持つ軽量訓練可能なモデル改変を採用する。この仕組みの転換は複数の利点をもたらす。第一に、予防接種アダプタは望まない特性の強い抑制を達成し、訓練中に予期しない形で発生する可能性のあるミスアライメントの形態を含む。第二に、プロンプト経由では引き出すことが難しいまたは不可能な新しい能力と特性に対して効果的に機能する。第三に、特に重要なことに、予防接種アダプタはプロンプト型予防接種と比較して予期しないバックドア——意図しない結果または脆弱性を大幅に削減する。研究者らは具体例で動機づけを示す。強化学習環境は正真正銘の有用な能力と報酬ハッキング（報酬信号を意図しない方法で悪用する傾向）の両方をモデルに教える可能性がある。予防接種アダプタは開発者が前者を保持しながら後者を抑制することを許可する。選別的汎化を形式化し、より効果的な実装を実証することで、この作品は訓練中にAIシステムを意図した振る舞いに合わせるためのツールキットに貢献する。

この論文はAI安全性における中核的な課題に対処している。訓練データセットと環境はしばしば望ましい振る舞いと望まない振る舞いを同時に教える。例えば強化学習エージェントは、報酬ハッキングなどのショートカットと共に正真正銘の問題解決スキルを学習する可能性がある。先行研究のプロンプト型予防接種は、訓練中に明示的にモデルに望まない特性を示すよう促すことでこれに対処し、理論的にはそれらの振る舞いの汎化に対して予防接種を行った。しかし、このアプローチには制限がある。プロンプト経由で引き出しが難しい特性には効果的でなく、予期しないミスアライメントのすべての形態を完全に抑制しないかもしれない。新しい予防接種アダプタ手法は仕組みを転換する。プロンプトではなく、訓練中にLoRA（パラメータ効率的なファインチューニング技術）を使用して望まない特性をモデルに埋め込む。この建築上の変更は、望まない汎化のより強い抑制を生成し、より広範な問題のある振る舞いへの有効性を拡張するように見え、同時に先行手法が導入する可能性のある予期しない副作用（予期しないバックドア）を削減する。

まだコメントがありません。最初のコメントを投稿しましょう！