AnthropicがRSI閾値に接近と警告

Anthropicの警告は、主に資金に関する規制提出書類の中にある。月曜の修正S-1Aは、収益が費用の増加とともに急伸していることを示した。しかし「リスク要因」の項は別のメッセージを伝えている。Anthropicは、能力の飛躍に当時は気づかなかった新モデルの開発にすでにAIを使っており、研究でAIの利用が増えることで、モデル能力が安全策の開発・検証・導入能力を追い越す可能性があると警告する。開発速度の大幅な加速は、それが起きた後でなければ特定できない可能性もあるとしている。

同社が挙げる具体的な引き金は社内の「責任あるスケーリングポリシー」で、「AIに起因する劇的に加速した進歩」を閾値と定義する。現在のモデルではなく将来モデルに関する社内推定と予想から、この定義に差し迫って達する可能性があるとしつつ、現行モデルはいずれも超えたと認定していないと確認する。また、フロンティアモデル開発で人間の制御を保つためポリシーの更新を検討中で、意味のある人間の監督なしにClaudeを使って次世代フロンティアモデルを完全に自律的に設計・構築することを安全に行えるとは想定していないと述べている。

時期が重要なのは、RSIが今年前半に言葉として広まった際、業界の流行語や達成困難な目標と広く見なされていたためであり、この開示が情報開示と宣伝を兼ねる文書に含まれているためでもある。懐疑派は、自己構築するモデルに近いという主張をそう受け取るかもしれない。それでも提出書類自体の枠組みは、リスクが細かい字で記すに値するほど現実的だというものだ。