画像AIの安全対策回避を指摘

従来のジェイルブレイクは、過去に成功したプロンプトの表現を少しずつ変えて試すものが中心で、これまでとは異なる新しい攻撃方法を見つけにくいという問題があった。White Circleの研究チームはこの限界を踏まえ、攻撃の方針に当たる「戦略」そのものをAIに考えさせて改良するRISEを考案した。

検証では性的な画像に加え、過度に暴力的な画像や自傷行為、憎悪表現、自殺に関連する画像でもRISEを試し、複数の画像生成AIで安全対策を回避できることを確認している。研究チームはRISEの検証用コードなどを公開する一方、悪用を防ぐため、有害な画像の生成に成功したプロンプトや攻撃戦略は公開しない方針だ。

White Circleのデニス・シロフCEOは、新しいモデルほど攻撃成功率が高くなった理由として「モデルの能力が向上し、生成できるコンテンツの幅が広がったこと」と「安全性よりも性能向上が優先されていること」の2点を挙げている。