AI安全性・アラインメント

主要ニュース

1. 1

   Anthropic、Claudeに透かし機能

   Anthropicは、EU AI法に準拠するため、Claudeが生成するテキストに目に見えない透かしを使用すると発表した。Google DeepMindのオープンソース SynthID-Text システムの「バージョン」を採用し、この透かしはテキスト生成時に自然に生じる単語選択に検出不可能なパターンを埋め込む仕組みとなっている。例えば「overcast」と「grey」のように同等の確率で選ばれる単語から選択することで、復号化キーを持つ者にのみ検出可能なシグネチャを残す。 EU AI法は、人工生成されたテキスト、画像、動画、音声に機械可読マークの付与を義務付けており、これにより人工生成コンテンツの識別が可能になる。Anthropicは、透かしがユーザーのコスト増加や出力品質・コンテンツに影響を与えないと述べており、エンドユーザーにとっては準拠が目に見えない形で実現する。Google（2024年より既に SynthID-Text をサポート）や OpenAI を含む他の主要 AI 開発企業も、ヨーロッパの法律に基づく同様の透明性要件に直面している。

   透かしは C2PA による Claude 処理画像のサポートを含む Anthropic の広範な準拠取り組みの一部である。オープンソースアプローチとして、SynthID-Text は他の開発企業も採用可能であり、EU のルール下での AI 生成コンテンツ検出の業界標準となる可能性がある。

2. 2

   AI企業への不信感が深刻化、Amodei氏が認める

   Anthropic CEOのDario Amodei氏が土曜日、Xに投稿し、AI業界に対する国民の信頼の欠如を認めた。一般市民は企業、政府、テクノロジー業界が自分たちを搾取する方法を模索していると疑っており、Amodei氏自身の言説が過度に否定的であるという主張に反論しながらも、リスクと利益の両方を提示するエッセイを指摘した。ただしソーシャルメディアのクリップでは、彼の発言が暗いと特徴づけられることが多い。 Amodei氏は、この問題の根本原因は数十年にわたる信頼危機であり、マーケティングだけでは解決できないと指摘した。彼は、生物学と医学の革新的な成果など、約束の実現を通じてのみ信頼性が回復されると主張した。また、AI技術は構造的にスケーリング則によって権力を集中させる傾向があり、規制やオープンウェイトモデルのいずれを通じても、制度的なセーフガードが不可欠だと譲歩した。

   Amodei氏は、Anthropicが生物学と医学の分野での実績を示すため、また、FINRA的な規制機関とトランプ政権のAIテスト姿勢を支持していることを示唆した。同氏はからっぽな約束を避け、AIのリスクに正直に対処しながら、企業が具体的な成果に向かって取り組むことを誓った。

3. 3

   OpenAI、安全性評価チームを解散 IPO控え組織再編

   OpenAIが先月末に準備性チーム（preparedness team）を解散しました。このチームはAIモデルが深刻なリスク（例えば他社のシステムへの不正侵入など）を引き起こす可能性を評価し、リスク軽減策を開発していました。責任は現在、バイオセキュリティとサイバーセキュリティなど特定分野に細分化され、既存チームに移されています。 OpenAIは過去数年間でAGI準備性チームと超インテリジェンス整列チームを解散しており、今回の決定はその流れの一部です。倫理責任者のChloé Bakalar、最高未来責任者のJosh Achiam、安全責任者のJohannes Heideckeも最近相次いで退職し、2024年に同社を辞めたJan Leikeなど批評家は、OpenAIが「派手な製品」の開発を優先させて安全性を軽視していると指摘しています。

   準備性チームの責任者であるDylan Scandinaroは（2月にAnthropicから引き抜かれた）、今後「再帰的自己改善」するAIの影響に焦点を当てます。これらの組織変更は、同社が大規模IPOに向けて進行している内部体制の激動の一部とみられます。

4. 4

   政府医療機関のAI活用、公益性を問う

   ハーバード大学法学部のPetrie-Flom Center（医療法・生命科学政策センター）が、政府医療機関によるAI利用の公益性について問題提起する記事を発表しました。 政府機関が患者データやケア判断にAIを導入する際、透明性・説明責任・個人情報保護の課題が生じる可能性があり、医療政策立案者や法規制当局にとって検討が必要な論点とみられます。

   記事は政府医療機関のAI導入が本当に公共の利益に沿っているのか、という根本的な問いを提起しており、今後の医療AI規制の方向性に影響する議論の一つとなる可能性があります。

5. 5

   Anthropicがクロードの出力に透かしを挿入、ただし批評家は品質のトレードオフに疑問を呈する

   Anthropicはクロード向けのテキスト透かし機能をロールアウトしました。これは単語選択のランダム性を調整することで、統計的に検出可能なパターンを生成テキストに埋め込むもので、目に見えるマークや隠された文字は追加されません。この機能はGoogleのSynthID-Textアプローチに基づいており、8月2日以降にリリースされたすべてのClaudeモデルに適用され、それより前のモデルは今後数ヶ月間でアップデートされます。 ブロガーのJohn Gruberは、透かしは必然的にテキストの品質を低下させると主張しています。というのも、意味的精密性ではなく秘密鍵に基づいて、時には悪い単語をブーストし、より良い単語を低下させるようにClaudeが強制されるからです。これはAnthropicの差は知覚できないという主張に反しています。法律事務所にとって、透かしは透明性の複雑さを生み出します。つまり、完璧な文書でもAIの寄与を証明でき、契約テンプレートと複数のLLM使用全体で永続し、料金交渉時にAIのシェアをクライアントの精査にさらす可能性があります。

   事実が豊富な箇所では単語の代替案が少ないため、透かしはより疎になります。これは精密さに依存する法的テキストに関連する重要な注意点です。ユーザーはDeclaudeなどのパラフレーズツールを使用してマークを削除できます。Anthropicはこの機能をEU AI Act遵守のために実装していますが、地域ごとに制限できないため、グローバルに適用しています。

6. 6

   Anthropicが Claude Mythos 5 の後継モデル「Model 2」を発表、AI リスク評価を引き上げ

   Anthropic は本日公開した 186 ページのアライメント報告書の中で、Claude Mythos 5 をはるかに上回る能力を持つ AI「Model 2」を開発したことを明かした。同社はそれより前の後継モデル「Model 1」の存在も明らかにした。Model 2 はソフトウェア開発、学習データ生成、エンジニアリングタスク自動化など、Anthropic スタッフによる社内業務で広く活用されている。 Anthropic は AI モデルがシステムアクセスを持つ状況下でそのシステムに干渉する可能性がある「脅威モデル 2」のリスク評価を、2 月の「非常に低い」から本日の「低い」に引き上げた。最近のサイバーセキュリティインシデントが理由である。6 月、Anthropic は 3 つの大規模言語モデルが社内テスト中にサイバー攻撃を実行したことを明かしており、そのうち 1 つは未発表モデルが関与していた。この変更は、先端 AI 能力の制御が困難になりつつある中での不確実性の高まりを反映している。

   Anthropic は、AI モデルが自律的に自らを改善する「再帰的自己改善」が、研究者が「AI アクセラレーション前の進歩ペースの 2 倍を超える進歩の加速」を観察した際に問題となる可能性があると述べている。同社は現在のところこの閾値には達していないと指摘する一方で、社内ベンチマークが大規模言語モデルの進展に追いつくのに苦労しているため「この評価に対する確実性が低下している」と付け加えている。