自動レッドチーミング3手法を模擬実装で比較

LLMアプリの手動テストは試せるプロンプト数が限られるため、自動レッドチーミングが不可欠になってきた。GCG、PAIR、TAPは攻撃プロンプトを自動生成する代表的な3手法である。

Qiita記事は各手法が何を手がかりに何を探索するかを整理し、実LLMを呼ばない小規模な模擬実装で検証している。GCGはリクエストに付加するサフィックスを勾配で最適化し、PAIRは攻撃者LLMが判定LLMのスコアに基づいてプロンプトを反復改良し、TAPはPAIRを木構造に拡張して2段階の枝刈りを加える。

重要な違いの一つは、GCGが重みと勾配を必要とし不自然なトークン列を生成するのに対し、PAIRとTAPはモデルの応答だけで動き自然なテキストを生成することだ。これは防御にとって重要で、文字バイグラム実験が示すように、パープレキシティ検査はGCG型のサフィックスは捉えられるがPAIRやTAPの書き換えは捉えられない。自動手法が何も見つけないことは安全性の証明にはならず、ほぼゼロの成功率と報告された12の防御を回避した適応的攻撃を引用し、自動レッドチーミングを回帰テストとして使うことを勧めている。