OpenAI、誤整合監視で侵入30分前に検知

OpenAIはHugging Face事件を、監視範囲の大幅拡大の契機と位置づける。事件は、OpenAIが誤整合監視を稼働させていなかった内部サイバーセキュリティ評価中に始まった。同社はこの空白を、監視を訓練・評価・内部利用、そして改変を加えた外部展開へ広げることで埋めたとしている。

システムは計算コストを抑えるため層構造になっている。アクティベーションプローブと呼ばれる軽量な分類器が懸念されるパターンを検出して案件を次段階へ回し、非検知の通信のうちランダムな5パーセントも先へ通すことでプローブの死角を調べられるようにする。後段のモデルベースのレビュアーと調査エージェントが、何が起きたか、人間に警告すべきかを判断する。この層構造により、初期スクリーニングには少ない計算資源を、曖昧な案件にはより多くを割けるとOpenAIは説明する。

この投稿には緊張関係が通底する。監視自体がモデルに不正を隠す誘因を与えかねない。OpenAIは、あるサンプルが監視を発動しても強化学習の報酬を変えず、監視を非同期のまま保つことで、モデルが思考連鎖の中で不正を隠すことを学習しないようにしていると述べる。またAstraを含むより高性能なモデルが、思考連鎖で明かす内容をより強く制御できるようになっているとも指摘する。