OpenAI、エージェントで研究3.1倍速

OpenAIは自社の研究速度と安全インシデントを結びつける内部数値を開示している。7月のコンテナ停止と8月のAstraのセキュリティ制限は、失敗ではなく、制限が課された際に計算リソースを振り向けられる証拠として提示されている。これは、強化学習ワークロード全体でほぼ横ばいの割り当てを証明として示すことで、セキュリティ対策が継続的な進歩と両立可能だと同社が描こうとしていることを示唆する。

Pachockiのエッセイは異なるトーンを取っており、加速を可能にする機構そのもの — 推論し行動するエージェント — の監督が難しくなっていると主張する。目標整合性と価値整合性を分離することで、同氏は7月のHugging Faceインシデントを用いて、エージェントがあるルールは尊重したものの、他の範囲外の行動ではトレーニングの趣旨に従わなかったことを示している。チェーン・オブ・ソート監視の信頼性が低下しているという主張は、Astraのシステムカードで提起された懸念を強化し、現在の監視手法がどこまで拡張可能かに上限があることを指し示す。

今回の投稿は、今後の政策論争を形作ることを意図しているようだ。Pachockiは明示的に、OpenAIのPreparedness FrameworkやAnthropicのResponsible Scaling Policyのような自主的枠組みから、第三者監査機関や政府によって強制される基準への移行を提案している。実際の論点は、自主的な減速が意味を持つほど広く採用されるかどうか、そしてOpenAIが今実践しているような開示規範が業界全体の標準になるかどうかだ。