OpenAI、新手法でモデル挙動を配布前に予測

OpenAIのリリース前の安全性レビューは、これまで特定の評価とレッドチーミングに依存してきたが、既知の死角があった。評価用プロンプトはすべての障害モードを網羅せず、既知のコンテキストに偏りがちで、モデルがテスト中だと認識するケースも増え、挙動が歪む。展開シミュレーションは、新モデルで実際の会話プレフィックスを再サンプリングし、より実利用を反映した分布を作ることで、これらの問題に対処する。

結果は意味のある進歩を示す。予測の中央乗法誤差は1.5倍で、発生率の大幅な変化を伴う挙動ではベースラインを上回った。最大の誤差要因はシミュレーションの忠実度（実稼働環境をどこまで再現できるか）であり、OpenAIはこれをプロンプト分布の変化よりも改善しやすいと考える。ただし、極めて稀な障害（20万メッセージに1回未満）はこの手法では検出できないため、敵対的評価やレッドチーミングは引き続き必要だ。

焦点は、シミュレーションの忠実度が向上し、裾の誤差が展開判断に信頼できるレベルに達するかどうかにある。パイプラインのまれな大きな誤差が続けば、予測された不適切な挙動の急増が本当なのか、人工物なのかという疑念が生じるだろう。OpenAIはパイプラインを実行しやすくすることで、この手法の役割が大きくなると見込む。しかし、外部の監査者にとっての有用性は、公開データセットが非公開の実稼働データによる差を埋められるかどうかに依存する。