AI安全性・アラインメント

主要ニュース

1. 1

   OpenAIがAIの自己改善能力を確認、連邦政府による規制枠組みを提案

   OpenAIが6月6日、最先端AI開発に関する連邦規制の青写真を発表した。同社はAIが自分自身の開発を加速する「再帰的自己改善（RSI）」の初期兆候を現在のシステムで確認したと報告し、これが今後10年で最も重要な安全性課題になると警告している。

   AIが人間の監督なしに自己改善を始めると、ChatGPTなどのAIツールが予想を超えて急速に賢くなり、制御が困難になる可能性がある。

2. 2

   LLMに宗教的偏見が発覚、使用言語によって異なる宗教観を表示

   聖書解釈アプリ「Biblians」の開発中に、LLMが使用言語によって異なる宗教的偏見を示すことが判明した。英語では新教（プロテスタント）寄りでマルティン・ルターを称賛するが、スペイン語・フランス語・ポルトガル語ではカトリック寄りでルターを批判する回答をする。

   ChatGPTなどのAIチャットボットに宗教や文化について質問する際、使用する言語によって偏った回答を受け取る可能性があることを意味する。

3. 3

   Anthropicが一方的な開発停止の困難さを説明、業界協調の必要性を強調

   AnthropicがAI開発の一時停止について新たな見解を発表し、単独での開発停止は他社に優位性を与えるだけで効果がないと説明した。意味のある停止には複数の主要企業と国家間の合意、そして相互検証体制が必要だとしている。

   Claude（Anthropicのチャットボット）の開発速度が今後も維持される可能性が高く、AI安全性への懸念があっても技術進歩は続く見通し。

4. 4

   AI安全性研究の新チームがロンドンで活動開始、3つの主要プロジェクトを推進

   Arcadia Impact内に8人のAI安全性研究チームが新設され、英国AISI（AI安全研究所）と連携して活動を開始した。AIモデルの動機理解、スケーラブルな監視システム、自動化されたアライメント研究の3つのプロジェクトに取り組んでいる。

   AI安全性研究が活発化し、ChatGPTなどのAIツールがより安全で信頼できるものになるよう技術開発が進められている。

5. 5

   「Helpful-only」AIモデルの問題点が明らかに、有害要求への対応で新たな課題

   倫理的制限を取り除いた「Helpful-only」AIモデルの研究で、緊急時の不整合、過度の従順さ、一貫性のない性格表現などの問題が発見された。研究者はこれらの問題を軽減する手法も同時に開発している。

   研究用の制限なしAIモデルにも安全性の課題があることが判明し、将来のAIチャットボットの安全設計に重要な知見を提供している。