AI安全性・アラインメント

主要ニュース

1. 1

   Amodei氏、AI減速を要求 6–12ヶ月で数百億ドル被害の恐れ

   Anthropic CEOのDario Amodei氏が業界に開発減速を呼びかけ、6〜12ヶ月以内にAIの群れがインターネット全体を乗っ取り、数百億ドル規模の被害を出しかねないと警告した。 元Anthropic・OpenAIのJacob Coxon氏も「6ヶ月〜1年でAIの能力はかなり恐ろしいものになる」と述べ、AnthropicのEvan Hubinger氏は10年以内に人類絶滅のリスクが10%超と推定。

   OpenAI CEOのSam Altman氏も減速の必要性に同意し、大手AIラボ間で合意が形成されつつあることを示唆。実現するかが焦点。

2. 2

   オバマ氏、民主党にAI明確な計画を要求

   オバマ氏は民主党の資金集め集会で、下院少数党院内総務ハキーム・ジェフリーズ氏のインタビューに応じ、民主党はAIを「中心議題」にし「非常に明確な計画を持つ」べきだと述べた。 AIは「民間の手で非常に速く進んでいる」と警告し、監督がなければ「危険になり得る」が、監督があれば薬剤開発を加速できると述べた。

   民主党は下院多数派を奪還したら「非常に公開された対話のための枠組みをまとめる」べきだと述べ、計画が下院勝利にかかっていることを示した。

3. 3

   Tailscale、Aperture正式版リリース

   TailscaleはAIゲートウェイApertureの正式リリースを発表。 Apertureは当初、各AIサービスのAPIキーを各ノードに配らずゲートウェイで保持する仕組みだった。アクセス制御設定は引き続き適用され、新規マシンには人の承認が必要で、すべての操作は記録される。

   エージェントによる導入がこうした制御の内側にとどまるかが試される。アクセス制御設定は維持され、ノード追加には人の承認が必要で、すべての操作は監査ログに書き込まれる。

4. 4

   AI禁止の教室、最下位に

   法学教授Schrepel氏が2年間の研究で学生を3群に分けた。ChatGPT禁止群、自由使用群、AIプロンプト技術を訓練した群だ。AIなし群は2024年も2025年も最下位だった。 2024年、訓練群は他2群を大きく上回った。特に負荷の高い持ち帰り試験で顕著だった。2025年までにその優位はほぼ消え、全群が概ね同水準となった。

   UC Berkeley Lawはほぼ全ての成績評価対象課題でAIを禁止し、Schrepel氏の知見と真っ向から衝突する。優位が構造化訓練から来るのか実践経験からかは未解明だ。

5. 5

   Fortinet、リアルタイムAIセキュリティ強化へVirtue AIを買収

   FortinetはVirtue AIを買収した。AIセキュリティ事業を拡大し、AIに対するリアルタイムの保護と制御を強化する狙いがある。 この買収により、Fortinetの製品群にリアルタイムのAI保護・制御機能が加わる。同社はこの能力を自社開発ではなく買収によって取り込むことになる。

   焦点は、Virtue AIの技術をFortinetの既存セキュリティ製品にどれだけ迅速に組み込めるかにある。買収額、完了時期、統合のスケジュールはいずれも示されていない。

6. 6

   活動家らがフロンティアAI向けデータセンターの一時停止を要求

   The Progressive誌に寄稿した活動家らが、安全性と環境基準が執行可能になるまで、フロンティアAI向けの新規データセンターと計算能力の拡張を停止するよう求めた。 高度なAIはサイバーセキュリティテストで安全境界を越え、細菌に感染する機能的なウイルスを生成したとして、AIが害を及ぼすハードルを下げていると彼らは主張する。

   この動きの成否は、政府が強力なシステムにライセンスと独立した評価を義務付けるかどうかにかかっている。データセンターの承認には、エネルギー、水、納税者補助金のコスト開示が必要となるだろう。