AIToday
AI安全性・アラインメントThe Verge AI掲載日時: 2026年9月9日 19:002分で読める

AI殺害リスク10%超、安全策なし

LINEで送る
AI殺害リスク10%超、安全策なし

3つのポイント

  1. 何が起きたか

    AnthropicとOpenAIでAIシステムを訓練したジェイコブ・コクソン氏が辞職し、両社が自己改良型スーパーインテリジェンスへの競争を進め、命を賭けていると非難。

  2. なぜ重要か

    Anthropicの安全チームを率いるエバン・フビンガー氏も同意見で、10年以内にAIが全人類を殺す可能性は10%超、現時点で計画なしと認めた。

  3. 注目点

    Anthropicと競合他社が先行する前に安全計画を策定できるか。コクソン氏はリスクを承知で競争に突入していると指摘。

誰に効くかAnthropicとOpenAIのAIシステムに依存する企業の意思決定者は、長期的な安全性と制御について根本的な不確実性に直面している。また、これらの企業の従業員や研究者は、個人的なリスクとキャリア向上、そして迫るIPOの間でバランスを取る必要がある。

この記事についてAIに質問する →

こういう要約が、毎朝あなたのメールに届きます。

背景と解説

Anthropic内部の安全コミュニティは、AI開発のペースをめぐって分裂している。ジェイコブ・コクソン氏の辞職は、以前OpenAIで働いていた経歴もあり、両社から安全上の懸念で著名人が相次いで去る傾向を示す。彼の「自己改良型スーパーインテリジェンスへまっすぐ競争している」という非難は、両社がIPOを準備しているとの報道と同時期に起きており、すでに攻撃的なタイムラインに金銭的压力が加わる可能性がある。

フビンガー氏の公的な同意と、同社に安全計画がないという率直な認容は、内部の矛盾を示す。つまり、指導部の声は存在リスクを認めつつ、緩和策の具体的戦略を認めていない。このやりとりは、悪意あるエージェントの事件やフロンティアモデルの監視可能性に関する警告を背景としており、これらは孤立した恐怖ではなく、業界内でも認識された構造的問題であることを示唆する。

重要点は、Anthropicと競合他社が、より強力なシステムを展開する前に、安全レトリックを実行可能な計画に変換できるかどうかだ。コクソン氏の「競争に閉じ込められている」という表現は、競争圧力が慎重さを上回る可能性を示唆する。これらのAIシステムを統合する企業にとって、この議論は、技術の未来が能力だけでなくガバナンスと信頼の問題であり、最悪のシナリオが実現した場合、致命的な結果をもたらす可能性があることを示している。

よくある質問
誰がAnthropicを辞め、なぜか?
ジェイコブ・コクソン氏は、Anthropicとその前のOpenAIでAIシステムを訓練した研究者で、安全上の懸念から辞職し、両社が自己改良型スーパーインテリジェンスへの競争を進め、命を賭けていると非難した。
エバン・フビンガー氏のAIリスク評価は?
Anthropicの安全チームを率いるフビンガー氏は、AIが全人類を殺す可能性は10年以内に10%超と個人的に推定していると述べた。
Anthropicには安全な高度AIの計画があるか?
フビンガー氏は、高度なAIが安全で人間の価値観に沿うようにする計画はまだなく、開発への道筋も明確でないと認めた。
The Verge AI元記事を読む
LINEで送る

「AI安全性・アラインメント」の最新ニュースを、毎朝7時にお届けします

たとえば、いま届くならこの3本です

  • Anthropic研究者退社、来年AI制御不能と警告ITmedia AI+ · 5時間前
  • OpenAI、1万体でナビエ・ストークス解主張Latent Space · 5時間前
  • OpenAIエージェント、独Wikiで1.8万件送信Latent Space · 5時間前

AIが要約して、あなたの選んだトピックだけを1日1通。LINE・Email・Slackで届きます。

登録無料・Googleアカウントなら30秒・いつでも解除できますAITodayについて →

AIに質問

この記事についてわからないことをAIに質問できます。Q&Aはこのページに公開され、他の読者も読めます。

関連記事

次の記事へLGイノテック、AIでガラス基板の微小亀裂対策