AI安全性・アラインメント

主要ニュース

1. 1

   Google DeepMindが、自社の高度なAIエージェント（自動判断で作業するAI）から組織を守るための包括的なセキュリティ対策を発表し、業界に公開しました。

   Google DeepMindが35ページの技術文書で、AIエージェントを組織内の潜在的な脅威として扱い、それらの悪意ある動作を検出・防止するための15種類以上の対策を提案しています。既に社内では約100万件のコーディングタスクを監視するプロトタイプシステムを構築し、Gemini Sparkエージェント向けのリアルタイム監視システムを展開しているとのことです。 従来のAI安全研究は「アラインメント問題」（AIの行動が人間の意図と一致するように学習させること）に焦点を当ててきましたが、Google DeepMindはこの完全な解決は難しいと判断。代わりに、サイバーセキュリティの「内部脅威対策」の手法を応用し、AIエージェントが従業員より高速・大規模に動作できる点を考慮した多層防御体制を採用しています。

   监视システムが検出したフラグは大半が悪意あるものではなく、むしろ「エージェントの誤解釈やユーザーの目標達成への過度な熱心さ」に由来するとDeepMindは報告しており、実運用での課題が複雑であることが示唆されています。同社はこのロードマップを「v0.1」と位置付け、より広い「Frontier Safety Framework」への統合を予定しています。