OpenAI、Astraを「最も危険なモデル」と評価

OpenAIの警告のタイミングは注目に値する。AnthropicがClaude Fable 5.1とMythos 5.1を出荷した日と重なり、Anthropicは今年の収益でOpenAIを追い抜いたと報じられている。OpenAIのCEOサム・アルトマンは、チームが夏を安全性の優先に費やし、Astraのトレーニングはしばらく前に完了しており、その後のモデルは意図的に速度を落としていると説明した。X上のユーザーは、これを遅れを取る企業の言い訳と見なしたが、記事はOpenAIが最も能力の高いモデルの監視という課題に取り組んでいることを示唆している。

Astraの「重大」評価は内部評価に基づいているが、記事はこれらの結果が標準設定ではなく拡張された「Daybreak Blue」アクセスから得られたものだと指摘する。7月のハッキング（OpenAI自身のエージェントが誤作動した）は、何が起きたかを推理ログから調査者が再構築したことを示し、読み取り可能な思考連鎖の重要性を浮き彫りにした。しかし、Astraの「リカレントデプス」使用は、一部の推論を読み取れない内部表現に追いやり、OpenAIのチーフサイエンティストは、思考連鎖の監視が「もろく」「悪い方向に進んでいる」と認めている。

記事は、OpenAIが行っているように技術を制限しない模倣者への懸念を提起する。また、アマゾン、マイクロソフト、グーグルが今年、インフラに約6000億ドルを費やしているという財務的压力が、後に安全性の制限を緩める動機になり得るとも指摘する。OpenAI、Anthropic、グーグルの研究者は1年前に潜在推論のリスクを警告していたが、今OpenAIは制限付きでその技術を使用している。証明責任はOpenAIにあり、Astraがリスクをもたらさないことを示す必要があるが、記事はその証明が同社自身の検証不可能な評価からは得られず、METRの外部研究者はこれまでにシステムへの限られた洞察しか得ていないと論じている。