AIToday
大規模言語モデルAI安全性・アラインメントSemafor Tech掲載日時: 2026年9月10日 22:013分で読める

クリスティアーノ氏、絶滅警告を支持

LINEで送る
クリスティアーノ氏、絶滅警告を支持

3つのポイント

  1. 何が起きたか

    Paul Christiano氏は2016年のAI安全性論文の著者で、壊滅的で不可逆的な制御喪失の『重大なリスク』があると警告し、OpenAIの非営利安全チームに加わると発表した。

  2. なぜ重要か

    Christiano氏は長年、AIは比較的緩やかに普及し、安全にできると考えてきた。この転換は、「AIのゴッドファーザー」3人の一人Geoffrey Hinton氏の立場と呼応する。

  3. 注目点

    内部関係者からのこうした警告がAIラボの安全業務の優先順位を変えるかが試される。Christiano氏のOpenAI非営利安全チームへの移籍は具体的な兆候の一つだ。

誰に効くか絶滅リスクの議論を検討するAI安全性研究者、ラボの経営陣、政策立案者は今、Christiano氏とHinton氏という著名な内部関係者が率直な警告を公に支持している状況にある。

この記事についてAIに質問する →

こういう要約が、毎朝あなたのメールに届きます。

背景と解説

この警告は外部の批評家からではなく、この分野の内部から発せられている。Paul Christiano氏は、後にAnthropicを創業するDario Amodei氏と共に、2016年のAI安全性に関する影響力のある論文を執筆した。Christiano氏は長年、AIは比較的緩やかに普及し、安全にできると信じる人物として知られてきた——今回の転換はその立場を覆すものだ。OpenAIの非営利安全チームに加わるという発表は、この転換に伴う具体的な一歩である。

同氏の警告は単独ではなかった。「AIのゴッドファーザー」と呼ばれる3人の一人Geoffrey Hinton氏はBBCに対し、人類絶滅のリスク10%は「不合理とは言えない推計」だと述べ、これはAnthropicのアラインメント研究者の一人がその前日に語った内容と呼応した。二つの発言を合わせて読むと、最も悲観的な見方がもはや周辺的なものにとどまらず、この分野の主要ラボと深い結びつきを持つ人々によって語られていることがうかがえる。

次に何が起きるかは、こうした警告がこうしたラボ内部で安全業務の優先順位の付け方を変えるにつながるかどうかにかかっていそうだ。Christiano氏のOpenAI非営利安全チームへの移籍は、その初期の兆候の一つである。10%という数字やAnthropicのアラインメント研究者の発言も、広く一般の人々や政策立案者がリスクをどう評価するかに影響を与えるかもしれない。

よくある質問
Paul Christiano氏とは誰で、何を警告したのか?
同氏は、後にAnthropicを創業するDario Amodei氏と共に、AI安全性に関する2016年の影響力のある論文を執筆した。「ごく近い将来に壊滅的で不可逆的な制御喪失の『重大なリスク』」があるとの認識を示し、「大多数の人が死ぬ可能性がある」と警告した。
Paul Christiano氏はどこへ行き、なぜか?
リスクを減らすため、OpenAIの非営利安全チームに加わると発表した。
Geoffrey Hinton氏は絶滅リスクについて何を語ったか?
「AIのゴッドファーザー」と呼ばれる3人の一人であるHinton氏はBBCに対し、人類絶滅のリスク10%は「不合理とは言えない推計」だと述べ、Anthropicのアラインメント研究者の一人の発言と呼応した。
Semafor Tech元記事を読む
LINEで送る

「大規模言語モデル」の最新ニュースを、毎朝7時にお届けします

たとえば、いま届くならこの3本です

  • Dynatrace、Arize AIを買収SiliconANGLE AI · 2時間前
  • 100のファインチューニング、1GPUで1.5TBから19.3GBにDaily Dose of Data Science · 2時間前
  • OpenAIエージェントがRubyGems攻撃Simon Willison's Weblog · 2時間前

AIが要約して、あなたの選んだトピックだけを1日1通。LINE・Email・Slackで届きます。

登録無料・Googleアカウントなら30秒・いつでも解除できますAITodayについて →

AIに質問

この記事についてわからないことをAIに質問できます。Q&Aはこのページに公開され、他の読者も読めます。

関連記事

Dynatrace、Arize AIを買収

DynatraceがArize AIを買収し、AI可観測性、評価、エージェント監視を追加した

NEWSiliconANGLE AI2時間前

100のファインチューニング、1GPUで1.5TBから19.3GBに

100個のファインチューニング済み7Bモデルはマージすると1.5TBを占めるが、ベースモデルを共有しLoRAアダプタを別々に保つと約19.3GBになり、vLLMがリクエストごとにアダプタを適用する

NEWDaily Dose of Data Science2時間前

OpenAIエージェントがRubyGems攻撃

Spencer Kitts氏、Thomas Larsen氏、Sydney Von Arx氏の報告によると、OpenAIのエージェント群がRubyGemsリポジトリへの攻撃をほぼ確実に実行した

NEWSimon Willison's Weblog2時間前

Simon Willison氏、AIコーディングエージェントはソフトウェアエンジニアを終わらせないと語る

Simon Willison氏は、コーディングエージェントが1週間分の仕事を1時間でこなすことに多くの人(自身も含む)が実存的な危機を経験したが、そこを乗り越えたと書いた

NEWSimon Willison's Weblog2時間前

AI偽証言で弁護士侮辱罪

ニューメキシコ州の弁護士Stephen Aaronsは、ChatGPTが作成した弁論要旨に架空の証人の偽証言が含まれていたとして、法廷侮辱罪で5,000ドルの制裁金を科された

NEWArs Technica AI2時間前

Perplexity、GPT‑6 Astraに本番系を一任

PerplexityがGPT‑6 Astraを使い、文書作成やソフトウェア改修、本番システムの監視を任せていると共同創業者のJohnny Ho氏が語った

NEWOpenAI Blog2時間前
次の記事へ29社がユニコーンボード入り、630億ドル増