AI安全性・アラインメント

主要ニュース

1. 1

   Redwood、AI未来論の読書リスト公開

   Redwoodは、AI開発の主要な力学、AIからの存在リスク、リスク軽減アプローチを扱う読書グループの教材リストを公開しました。このリストはRedwoodの戦略フェローシップの一環として作成され、同社の見方を反映しています。 AI業界の動向や長期的な課題を理解したいビジネスリーダーや研究者にとって、専門機関による厳選された読書教材は、自社の判断枠組みを整えるうえで参考になる可能性があります。

   Redwoodは読書リストが網羅的ではなく、同社が重点を置く領域に偏っていることを明示しており、提案や指摘を受け付けています。

2. 2

   AI安全性か機能強化か 研究者に葛藤

   LLM（文章を理解・生成するAI）の研究において、安全性研究よりも機能強化の研究を優先すべき状況があると指摘されています。これは、LLMが他のAIシステムと比べて安全性対策により適していると考える研究者が、機能強化研究に注力した方が実質的な価値を生む可能性があるという論点です。 AIの開発において安全性と機能強化のどちらに資源を配分すべきかは、業界全体の進み方と社会へのリスク管理に影響を与える基本的な選択です。特にLLMのような広く採用されているシステムについて、この判断が今後のAI研究の優先順位を形作る可能性があります。

   この議論は、AIの能力向上と安全性確保のバランスについて、従来の「両立させるべき」という前提を問い直す内容となっています。

3. 3

   Meta のAIコンピュート売却検討 CoreWeave 株価15%下落

   CoreWeave の株価が15.1%下落しました。同社の大口顧客である Meta Platforms がAIコンピュート容量の売却を検討していることが浮上したためです。一方、CoreWeave は6月末に Weights & Biases に組み込まれた ARIA というAI研究エージェントを立ち上げ、実験分析と継続的なモデル改善を自動化しています。 CoreWeave の事業ケースは、大型契約残高を採算のとれるスケールに転換できるかどうかに依存しています。Meta が独自のAIコンピュート提供に乗り出す可能性は、顧客集中度の高さと高い負債に対する懸念を強めるとみられます。特に Meta のような大型顧客が競争相手になりうることで、CoreWeave の投資構想が圧力にさらされる可能性があります。

   CoreWeave は2028年時点で $26.9 billion（約4.3兆円） の売上と $1.6 billion（約2600億円） の利益を見込んでいますが、現在は -$824.7 million（約1300億円） の赤字です。これは年間84.2%の売上成長と約 $2.4 billion（約3800億円） の利益改善を必要としています。

4. 4

   AI安全保障は「CERN」より「IAEA型」が現実的

   AI分野での国際的な統治枠組みとして「CERN for AI」構想が議論されていますが、政治的に実現可能な版（新たな追いつき研究所）は安全性向上にあまり役立たない一方、安全性を大きく改善する版（全企業の一時停止と統合）は実現不可能とみられることが指摘されています。 AI安全保障の主な課題は追加研究ではなく、政治的意志と既存のベストプラクティスの徴収にあるとみられています。国際条約に「赤線」を引き、その後IAEA（国際原子力機関）型の検証機関を設立するアプローチが、EU AI法や核不拡散条約（NPT）の実際の発展過程に合致しており、より現実的な道筋の可能性があります。

   提案される枠組みでは、十分な政治的意志があれば約80%のリスク低減が達成できると見積もられています。CERN型ではなく条約ベースのアプローチを優先することで、より実効性のある国際的な監視・執行体制の構築が期待されています。

5. 5

   Model access for third-parties — it's a big deal! サードパーティーへのモデルアクセス — 大きな意味を持つ！

   Model access for third-parties — it's a big deal! サードパーティーへのモデルアクセス — 大きな意味を持つ！

6. 6

   LLMエージェント、指令と外部データを分離 プロンプト注入攻撃に対抗

   LLMエージェント（自分で判断して作業するAI）向けの新しい対策方法が提案されました。指令チャネル（信頼できる実行時の命令）とデータチャネル（信頼できない外部データ）を厳密に分離し、エージェントの全ての行動を署名付きの認可トークンで制御する仕組みです。 プロンプト注入は、外部データを扱うLLMシステムで最も根深い失敗パターンになっています。従来の入力フィルタリングやモデル側のアプローチでは対応しきれないため、構造レベルでの対策が求められていました。この方法は観測と実行を切り離すことで、本質的な対策を目指しています。

   FastAPIミドルウェア、トークン認可、Streamlitインターフェースといった実装要素が含まれており、エージェントのツール呼び出しの安全性を強化するガイダンスとして機能する可能性があります。