勾配ベース手法で学習データから危険例除去

大規模言語モデルのファインチューニングでは、明らかに有害な例だけでなく、一見無害な例でも安全ガードレールを損なう可能性がある。従来のLLM-as-judgeや標準的なコンテンツフィルタは表面信号を評価するため、どの学習例が不安全な勾配方向にモデルを押すかを検出できない。SimpleLoRIFは逆伝播を最終4つのトランスフォーマーブロックに限定することで、約100万例規模のデータセットでも勾配空間の検査を可能にした。Tulu 3に適用して上位20%を除去したSafeTuluは、Qwen・Llama・OLMoでGCG攻撃成功率を最大22%低減し、検出AUCは最大0.865に達した。下流能力はほぼ維持または改善される。著者らはツール実行の失敗や物語的な算術も、これまであまり研究されていなかった安全劣化の原因として指摘している。