Crescendo検証、10往復で成功率84.7%に

CrescendoはMicrosoftのRussinovich・Salem・Eldanが2024年にarXivで公開し、USENIX Security 2025で発表した手法で、無害な質問から始めてモデル自身の応答を足がかりに踏み込み、断られた往復を取り消して言い直す点に特徴がある。自動化実装のCrescendomationは攻撃役にGPT-4を使い、1回の試行を最大10往復で打ち切る。Qiita記事の模擬実装では、Orionという架空の未公開プロジェクトを題材に、単語の重みを足すだけのスコアで分類器を代替している。少しずつ進める会話では1通ずつの検査は最後まで通し、アシスタントの応答を含む会話全体の検査は4往復目で止めた。一方、Orionの名前が出るだけで方針に反しない会話でも会話全体のスコアは0.55としきい値0.6に近づき、見る範囲を広げるほど誤検知も起きやすくなる。記事は対策として、入力検査に会話履歴を渡すこと、会話の状態と拒否の記録をサーバー側に置くこと、アカウント単位で会話をまたぐ分割を監視することを挙げている。数値は模擬のパラメータで決まるため実際のモデルの成功率とは比べられないが、評価条件を結果と一緒に記録する必要性はそのまま当てはまる。