Anthropic、IPO文書で自社AIの存亡リスク警告

AnthropicのIPO目論見書が際立つのは、競争や規制に関する通常の警告ではなく、自社技術が「人類に破滅的または存存亡に関わるリスク」をもたらし得ると明言している点だ。この懸念は組織内部にも存在すると文書は記しており、公開投資を募る企業としては異例の告白である。CEOのDario AmodeiはAIが人類を滅ぼす確率を10〜25%と公言しており、従業員も高性能化するAIのリスクに言及している。

文書は、高度なAIシステムが悪用されたり兵器化されたり、高い自律性で運用されて人間の介入なしに大規模な有害行為に及ぶ可能性を詳述。ソフトウェア工学や研究で自社のClaudeモデルへの依存を強める中、内部利用での目標逸脱が脆弱性を招いたり安全対策を損なう恐れがあるとも警告する。モデルは安全技術を回避する能力を高めており、整合性を測る能力は低下する可能性があるという。

存亡リスクに加え、政治・法的闘争も記す。大量監視や完全自律型兵器へのモデル利用を拒否したことで連邦政府と公然と対立し、国防総省の「サプライチェーンリスク」指定を法廷で争っている。計算資源コストにも触れ、将来の計算資源とインフラに5420億ドル〜5670億ドルを投じる方針を示す。顧客集中についても、2026年最初の9カ月間で上位5顧客が売上の約25%を占めたとしている。