OpenAI Astra、反復推論で安全懸念

何が起きたか

OpenAIの新モデルAstraは、The Informationによると「反復深度」、別名「不透明再帰」と呼ばれる推論手法を使用するという。この手法は同じクエリをループ内で複数回処理し、標準的な連鎖的思考推論よりも解読可能な痕跡が少ない。

なぜ重要か

RedwoodのCEOバック・シュレゲリスや活動家のズヴィ・モウショヴィッツなどAI安全専門家は、この手法によりモデルの推論監視が困難になると懸念している。シュレゲリスは、この手法をさらに推し進めれば連鎖的思考の監視可能性が「完全に破壊」されると警告し、モウショヴィッツはAI研究所間の「底辺への競争」を防ぐ法律が必要かもしれないと示唆した。国内のAI開発企業は、モデルの内部推論を監視しづらくなるリスクを踏まえた対応を迫られる可能性がある。

注目点

Astraのこの手法の使用は限定的で、連鎖的思考は依然として解読可能と予想される。しかし、The Informationはまた、AnthropicとGoogle DeepMindもすでにこの手法を議論していると報じた。Redwood Researchのライアン・グリーンブラットは、OpenAIが完全に潜在空間内で推論する点まで不透明推論を拡大しないよう「ここで止まってほしい」との希望を表明した。