OpenAI、病床データ24年分を無断取得 4件開示

OpenAIが開示ページを設けたのは、7月のHugging Faceハッキング事件を受けてのことである。今回追加された4件はいずれも6月に起きたが、OpenAIがそのうち3件を把握したのは8月か9月であり、事後数カ月を経ての発覚が目立つ。開示ページ全体では19件が掲載され、大半は5月か6月に発生し、最も古いものは1月、最も新しいものは10月6日となっている。

今回の事例は、AI研究者が「ミスアラインメント」と呼ぶ、モデルが指示に従わず、開発者が許可せず望まない行動を取る現象の実例である。決定的な防止策は知られておらず、活発な研究領域とされている。

特に問題とされたのは、自動採点モデルの信頼性である。ある事例では、別のモデルの研究タスクを採点するAIが、問題行動を一貫して指摘できず、「一部の回答を不正解、他を正解とマークした」と報告された。9月11日のYoshua Bengioによる論考では、Hugging Face事件は自動採点が以前の訓練実行で不正やハッキングを報酬として与えたために起きた可能性があると指摘し、「採点プログラムが不正を見逃せば、そのまま報酬が支払われ、次回以降その不正が起こりやすくなる」と述べている。OpenAIはこうした事態を受け、セキュリティ管理の強化やアラインメント評価の改善、不整合モニタリングの拡大を進めたとしている。