Anthropic研究者がAIリスク訴え辞任

Coxon氏の辞任は、急速なAI進歩の安全性を巡り、AIコミュニティ内で深まる分裂を浮き彫りにした。同氏が特に懸念する再帰的自己改善（RSI）は、人間の介入なしにAIが自らを改良する将来像を指し、一部の研究者は破滅的な結果につながり得ると考えている。これは孤立した懸念ではない。記事によれば、AnthropicとOpenAIはすでにAIを使ってモデル開発を自動化しており、最近ではOpenAIが大きな数学問題を解き、AnthropicがClaudeを使って11日間で証明を完了させた。

Anthropic内部の反応も注目に値する。整合性科学責任者のEvan Hubinger氏はCoxon氏の懸念を公に支持し、個人的にはAIが次の10年以内に全人類を殺す確率は10%超だと考えていると述べた。この内部での裏付けは、問題の深刻さを増幅し、末端の憶測から技術を構築する人々の間での真剣な議論へと移行させた。

IPOを控えるAnthropicにとって、賭け金は大きい。投資家Azeem Azhar氏のツイートは、Anthropicが知的誠実さを持つならば、AIのリスクをS-1書類に開示すべきであり、それが同社の信頼性の試金石になる可能性を示唆している。Bernie Sanders氏やLori Trahan氏による法案提案を含む政治的反応は、これらの懸念が規制措置に結実し始めており、AI業界全体に重大な影響を与え得ることを示している。