OpenAIが新モデルGPT-Red公開、攻撃耐性を強化

OpenAIが自動レッドチームに乗り出した背景には、安全性対策を人間のチームの限界を超えて拡大する必要性がある。同社は人間によるレッドチームは時間がかかり、訓練に必要な多様な攻撃を十分な量生成できないとしている。GPT-Redは前例のない規模の計算リソースで訓練されており、安全性自動化への本格的な投資を示している。

このシステムは悪意ある能力の悪用を防ぐため、運用中のモデルとは分離されている。テストではGPT-Redはシナリオの84%で攻撃に成功したのに対し、人間は13%にとどまり、実際に自動販売機を管理する稼働中のエージェントも突破した。この結果は、自動化が手作業よりも効果的に脆弱性を発見できることを示唆している。

期待されるのは、新しいモデルほどより強い攻撃者に対して訓練され、時間とともに堅牢性が増すことだ。記事によれば、攻撃成功率はリリースを重ねるごとに単調に低下している。この好循環が続くかは、将来のレッドチームが新たな脅威に先んじられるかどうか、さらに計算リソースとデータの拡張の限界にかかっている。