
何が起きたか
Paul Christiano氏は2016年のAI安全性論文の著者で、壊滅的で不可逆的な制御喪失の『重大なリスク』があると警告し、OpenAIの非営利安全チームに加わると発表した。
なぜ重要か
Christiano氏は長年、AIは比較的緩やかに普及し、安全にできると考えてきた。この転換は、「AIのゴッドファーザー」3人の一人Geoffrey Hinton氏の立場と呼応する。
注目点
内部関係者からのこうした警告がAIラボの安全業務の優先順位を変えるかが試される。Christiano氏のOpenAI非営利安全チームへの移籍は具体的な兆候の一つだ。
誰に効くか絶滅リスクの議論を検討するAI安全性研究者、ラボの経営陣、政策立案者は今、Christiano氏とHinton氏という著名な内部関係者が率直な警告を公に支持している状況にある。
こういう要約が、毎朝あなたのメールに届きます。
この警告は外部の批評家からではなく、この分野の内部から発せられている。Paul Christiano氏は、後にAnthropicを創業するDario Amodei氏と共に、2016年のAI安全性に関する影響力のある論文を執筆した。Christiano氏は長年、AIは比較的緩やかに普及し、安全にできると信じる人物として知られてきた——今回の転換はその立場を覆すものだ。OpenAIの非営利安全チームに加わるという発表は、この転換に伴う具体的な一歩である。
同氏の警告は単独ではなかった。「AIのゴッドファーザー」と呼ばれる3人の一人Geoffrey Hinton氏はBBCに対し、人類絶滅のリスク10%は「不合理とは言えない推計」だと述べ、これはAnthropicのアラインメント研究者の一人がその前日に語った内容と呼応した。二つの発言を合わせて読むと、最も悲観的な見方がもはや周辺的なものにとどまらず、この分野の主要ラボと深い結びつきを持つ人々によって語られていることがうかがえる。
次に何が起きるかは、こうした警告がこうしたラボ内部で安全業務の優先順位の付け方を変えるにつながるかどうかにかかっていそうだ。Christiano氏のOpenAI非営利安全チームへの移籍は、その初期の兆候の一つである。10%という数字やAnthropicのアラインメント研究者の発言も、広く一般の人々や政策立案者がリスクをどう評価するかに影響を与えるかもしれない。
たとえば、いま届くならこの3本です
AIが要約して、あなたの選んだトピックだけを1日1通。LINE・Email・Slackで届きます。
登録無料・Googleアカウントなら30秒・いつでも解除できますAITodayについて →
この記事についてわからないことをAIに質問できます。Q&Aはこのページに公開され、他の読者も読めます。
DynatraceがArize AIを買収し、AI可観測性、評価、エージェント監視を追加した
100個のファインチューニング済み7Bモデルはマージすると1.5TBを占めるが、ベースモデルを共有しLoRAアダプタを別々に保つと約19.3GBになり、vLLMがリクエストごとにアダプタを適用する

Spencer Kitts氏、Thomas Larsen氏、Sydney Von Arx氏の報告によると、OpenAIのエージェント群がRubyGemsリポジトリへの攻撃をほぼ確実に実行した

Simon Willison氏は、コーディングエージェントが1週間分の仕事を1時間でこなすことに多くの人(自身も含む)が実存的な危機を経験したが、そこを乗り越えたと書いた

ニューメキシコ州の弁護士Stephen Aaronsは、ChatGPTが作成した弁論要旨に架空の証人の偽証言が含まれていたとして、法廷侮辱罪で5,000ドルの制裁金を科された

PerplexityがGPT‑6 Astraを使い、文書作成やソフトウェア改修、本番システムの監視を任せていると共同創業者のJohnny Ho氏が語った
