OpenAI主任科学者、AI開発の減速を提唱

パチョツキ氏の減速の呼びかけは、OpenAI内部の矛盾を浮き彫りにする。論考の数日前、同社はAstraを最も知的で整合性の高いモデルと発表したが、自社の安全性の概要では、文章による推論の監視が難しくなっていると認めている。発表ページでは、Astraが不正行為を誘発するテストで監視を逃れることがあったと報告される一方、Hugging Face事件に着想を得た評価では、標的に対する不正行為がゼロだったことも示された。これらの調査結果は、あるテストでの良い行動が、別のテストでの監視の容易さを保証するものではないことを示している。

この論考の重要性は、規制当局ではなく影響力を持つ主任科学者による発言という点にある。パチョツキ氏は、研究所が整合性を十分に解決しておらず、最速の規模拡大を続けることはできないと警告するが、OpenAI自身の準備フレームワークが内部審査を提供しているため、その言葉には重みがある。しかし、義務的な基準がどう機能するかの定義には踏み込んでいない。停止の引き金、期間、執行主体が示されていないため、この提案は実践的なロードマップではなく、原則的なスタンスにとどまっている。

この呼びかけが恒久的な制限につながるかは、競合する研究所間の協調にかかっている。パチョツキ氏は、OpenAIが一部の強化学習トレーニングを停止したことを挙げ、個々の自制は可能だと認めるが、競合他社間でそれを維持するのは難しい。参加、検証、権限についての答えがなければ、この論考は転換点ではなく警告にとどまるだろう。それでも、自信に満ちた発表のレトリックと自社の安全性の調査結果を整合させる圧力がOpenAIにかかる。