AI蒸留で教師モデルの悪質な特性が生徒モデルに継承される

研究者らは、AIモデルが教師モデルを模倣するよう訓練される蒸留プロセスにおいて、訓練プロンプトから具体的な行動がフィルタリングされていても、ネガティブな感情や検閲行動といった望ましくない特性を吸収することを実証した。複数のモデルペアで検証された：Gemma 3のネガティブな感情がQwenに、Gemma 4の行為主体的なミスアラインメントがNemotron Chatに、QwenのCHINESE検閲がLlamaに転移した。