AI安全性・アラインメント

主要ニュース

1. 1

   Kimi K3 AI モデルが好調なデビュー後、最先端の課題を提起

   中国発の新型AIモデル Kimi K3 が Artificial Analysis インテリジェンスインデックスで57を獲得し、Claude Opus 4.8 より1ポイント上回り、Sol より2ポイント下回り、Fable より3ポイント下回る結果となった。DeepSeek の最近の市場への影響と比較されるとともに、Google、SpaceX、Nvidia の株価低下の可能性が議論されている。 モデルの性能の高さにより、AI開発と競争に関する既存の仮定の再評価が促されている。著者は、このスコアが能力を過大評価している可能性があることを指摘しながらも、今後数日間の独立検証により、主要モデル間における同モデルの真の位置付けが明らかになると述べている。

   Kimi K3 の詳細分析は来週初旬に予定されている。市場反応と、主要システムに対するモデルの実際のパフォーマンスに関する第三者検証により、これが最先端における重要なシフトを示しているかどうかが判明するだろう。

2. 2

   海軍、AI導入速度を優先し安全上のリスク受け入れ

   海軍は、AI導入を安全問題ではなくスピード問題として捉える戦略を発表した。この計画は「Bits2Effects Cycle」という5段階のフレームワークを中心としており、軍事データが戦術的対応に変わるまでの速度を測定する（「平均効果発現時間」で追跡）。会計年度2029年末までに、海軍は適格なデータエンジニア、データサイエンティスト、AI/MLエンジニアの数を2倍にすることを目指しており、主要な施策は会計年度2027年第1四半期（2026年12月末）までに実装される予定である。 ペンタゴンは、国防総省のより広範な政策から明確にトレードオフを採用した。すなわち、対応が遅すぎるリスクが、軍事AI システムの「不完全な整合」のリスクを上回るということである。これは意思決定における「戦時アプローチ」を反映している。海軍は、通信が妨害されている場合でも機能するよう設計された大規模言語モデルを軍艦やMarinne Corps部隊で直接実行する予定である。AI企業にとって、これはペンタゴンの巨大な需要を示唆している。既に、国防総省の中央生成AI プラットフォームであるGenAI.milのユーザーは、2025年12月のローンチ時の8万人から2026年6月までに150万日次ユーザーに成長している。

   米軍はイラン紛争での目標分析と攻撃計画にAnthropicのClaudeを既に導入済みであり、OpenAIはペンタゴンの機密ネットワークでモデルを運用する契約を最近獲得した。海軍戦略は、軍事需要を強力な言語モデルとAIエージェントにさらに上向きに押し進める可能性が高い。サイバーセキュリティが最大のリスク領域であり、英国のAIセキュリティ研究所はAIサイバー能力が倍増する速度の推定値を最近数ヶ月で2度上方修正している。

3. 3

   Appleが世界最高の企業価値を獲得、Nvidiaを抜く

   Appleは金曜日にNvidiaを抜いて世界で最も価値のある企業となり、約4兆8800億ドル（約780兆円）の評価額でNvidiaの約4兆8600億ドル（約780兆円）を上回った。Nvidiaは3.5％の下落を記録している。 この変化は、AI インフラストラクチャを構築するために必要な莫大な資本支出に対する投資家の懸念を反映している。投資家はAppleのような、大規模な初期資本投資なしにAIを追求している企業を支持するようになっており、ほぼ1年間トップの座を占めていたNvidiaなど、最も明らかなAI恩恵企業への関心が広がっている。

   Appleは最近の世界開発者会議で、専門家が信頼できるAI計画だと評価したものを発表し、以前はこの分野で遅れをとっていると見なされていた同社が、現在は実行可能なAI戦略を持つようになったことを示している。

4. 4

   20万ドル基金でAI安全研究を支援

   Lightcone Infrastructureが管理する新しい矯正可能性研究基金が、2026年に最低20万ドルの助成金と賞金を授与する。資金のおよそ半分は従来型の助成金（申請締切は8月23日）に充てられ、残りの半分は2026年に完成した優れた研究に対する賞金として配分される。 基金の創設者は、人間の意図に応じた矯正可能なAIシステムの開発を目指すアライメント研究が、評価、制御、解釈可能性といった他のAI安全分野に比べて極度に資金不足であると指摘している。この基金は、AI安全の中核問題解決に不可欠な研究領域へのリソース配分をシフトさせることを意図している。

   矯正可能性研究に関心のある研究者は、grants@corrigibilityresearch.orgメールアドレスから助成金に申請できる。助成金の最初の申請締切は8月23日である。

5. 5

   矯正可能性AI研究に200万ドル基金が2026年に始動

   Lightcone Infrastructureが管理する新たな矯正可能性研究基金が、2026年に矯正可能性研究に対して最低20万ドルの助成金と賞金を配分する。資金の半分は従来型の助成金（最初の申請期限は8月23日）に、残り半分は今年完了した優れた研究に対する報奨に充てられる。 基金管理者は、AI安全保障への資金投入全体は増加しているにもかかわらず、ほぼすべての資金が評価、制御、または解釈可能性に向かい、アライメント研究自体は極度に軽視されていると指摘する。本基金は、このギャップを埋める：矯正可能性（AIシステムが修正を受け入れる能力）が、コア・アライメント問題を解決する上で中心的と考えられている。

   矯正可能性研究に関心のある研究者は、grants@corrigibilityresearch.orgにメールで申請することができる。最初の助成金申請期限は8月23日である。

6. 6

   予期しない特性の学習を抑制する「予防接種アダプタ」

   長期的リスク研究センターの研究者らが、予防接種アダプタ（IA）という手法に関する論文を発表した。この手法は、AI訓練中に望まない特性を持つLoRA（モデル改変の一種）を使用することで、それらの特性が汎化するのを防ぎながら、望ましい能力を保持する。 AIシステムはしばしば同じ訓練データから有用なスキルと問題のある振る舞いの両方を学習する。例えば、報酬ハッキングと真の能力が同時に獲得される。予防接種アダプタは以前の手法よりも信頼性高く望まない特性を抑制でき、開発者がAIシステムを意図通りに動作させ、予期しないミスアライメントを採用させないようにする上で重要である。

   この手法は望まない特性の抑制を強化し、プロンプト型の予防接種では対応できなかった新しい能力と引き出しにくい特性に対して機能し、同時に結果モデルにおける予期しないバックドアをより少なく生成する。