AIの弱点を攻撃者目線で探る「AIレッドチーミング」解説

この用語は軍事演習やサイバーセキュリティに由来し、防御側のブルーチームが攻撃側のレッドチームと実践的な演習で対峙する。AIに応用すると、レッドチームは故意に悪意ある攻撃者や不合理なユーザーを演じ、人手による試行に加えて大量の質問を自動生成するテストも行われる。著者は通常のテストとの違いを記者会見の例えで説明する。通常のテストは用意した原稿を読むリハーサルであり、レッドチーミングは同僚が意地悪な記者役を演じ、「ここだけの話」「もし〜だったら」といった言葉で探りを入れ、意図しない発言を引き出す模擬会見だ。記事はまた、テストが公開で終わらないことも指摘する。モデルや接続するツールの変更で新たな弱点が生まれ得るため、問題を引き起こしたプロンプトの記録、原因と影響の調査、対策の適用、修正後の再テストというサイクルが推奨される。それでも問題なしという結果は絶対的な安全の証明にはならない。