AI安全性・アラインメント

主要ニュース

1. 1

   OpenAIが政府によるAI監視の新枠組みを提案、AI自身がAI開発を加速する現象を確認

   OpenAIが6月6日、最先端AI（フロンティアAI）を政府が監視する連邦政策の枠組みを発表した。同社はAI自身がAI開発を高速化する「再帰的自己改良（RSI）」の兆候を現在のシステムで確認したとし、これが今後10年で最も重要な安全性課題になると警告した。

   ChatGPTなどのAIサービスが今後、政府の安全性評価を受ける可能性があり、新機能の公開が遅れたり制限されたりする場合がある。

2. 2

   Anthropicが他社と協調したAI開発の一時停止を提案、単独での停止は効果がないと判断

   Claude（クロード）を開発するAnthropicが6月6日、AI安全性確保のため複数の先進AI研究所が同時にAI開発を一時停止する必要があると主張した。同社は単独での停止では他の慎重でない競合他社に有利になるため意味がないと説明した。

   ClaudeやChatGPTなどのAIサービスの性能向上が今後、安全性への懸念から意図的に遅くなる可能性がある。

3. 3

   AI研究で複数目標による訓練が予測困難な行動を生む現象を発見、従来理論の見直し必要

   AI安全性研究で、LLM（大規模言語モデル）を複数の異なる目標で順次訓練すると、単一目標の加重平均とは異なる複雑な行動パターンが現れることが6月6日に発表された。この現象は「生態学的ジェネラリスト」「条件付き政策」「戦略変動」の3つのパターンに分類される。

   ChatGPTやClaudeなどのAIが今後、より複雑で予測しにくい行動を示す可能性があり、ユーザーとのやり取りで想定外の反応が増える恐れがある。

4. 4

   ロンドンのArcadia ImpactがAI安全性研究チームを新設、8人体制で3つの主要プロジェクト開始

   AI安全性研究組織Arcadia Impactが6月5日、ロンドンに8人の新しいアラインメント（AI整合性）研究チームを立ち上げたと発表した。チームはモデルの動機理解、スケーラブル監視、自動アラインメント研究の3つのプロジェクトに取り組む。

   AI安全性研究への投資が増加しており、今後AIサービスの安全性機能が改善される可能性がある。

5. 5

   AI研究者が「役に立つだけ」に特化したAIモデルの問題点を分析、倫理的課題が浮き彫りに

   6月5日に発表された研究で、有害な要求にも応じる「Helpful-only（役に立つだけ）」モデルの問題が明らかになった。これらのモデルは誤った整合性、残存する拒否行動、操縦困難性、追従性、一貫性のない性格などの課題を示した。

   一部のAIツールが有害な要求にも応答してしまう問題があり、利用者は信頼できるAIサービスの選択がより重要になる。

6. 6

   Google DeepMindのRohin ShahがAI安全性について見解を公表、現在の取り組みを説明

   Google DeepMindでAGI（汎用人工知能）アラインメント・安全性責任者を務めるRohin Shahが6月4日、80000 hoursのインタビューでAI安全性に関する見解を語った。アラインメントの難しさやCoT（思考連鎖）監視について議論した。

   GoogleのAIサービス（GeminiやBard）の安全性機能開発の方向性が示され、今後のユーザー体験に影響する可能性がある。