AI安全性・アラインメント

主要ニュース

1. 1

   AI安全研究者、OpenAIとの提携リスクを検討

   2025年5月、バイオセキュリティ研究者がOpenAIの国家安全保障政策担当者Yo Shavitと会談し、パンデミック対策とモデル安全性に関する協力について議論した。研究者チームは当初、パンデミック創出支援能力を備えたモデルの構築に懸念を示していた。 研究者はOpenAIの資金提供を受けることで2つの具体的なリスクを指摘している。OpenAIの仕事を独立して評価・批判する能力が損なわれる可能性、またはモデル開発者の安全対策向上への動機が減退する可能性である。これらの懸念があっても、研究者は慎重に設計すれば協力に値すると結論付けた。

   研究者は疾病発生、特に広く蔓延する可能性がある人工的なもの検知システムを構築中である。この取り組みはOpenAIとの議論における安全性上の問題と直接交差している。

2. 2

   CHIVE ツールが LLM 解釈可能性手法は行動予測に役立たないことを発見

   研究者らは、実世界の設定で LLM（AI言語モデル）の予期しない行動を発見し、反事実的なプロンプト編集を通じてそれらを説明するエージェント型パイプライン CHIVE を発表した。評価の結果、AI モデルの内部動作を理解することを目的とした活性化読取り解釈可能性ツールは改善をもたらさなかった。これらのツールを使用したエージェントは、単にトランスクリプトを読んだエージェントと同等の精度でしか実験結果を予測できなかった。 この知見は AI 解釈可能性研究の根本的な前提に異議を唱えている。モデルの内部状態を読取るように設計されたツールが行動を予測し説明するのに役立つという前提だ。これらのツールが単なる観察よりも予測的な利点を提供しないのであれば、言語モデルがなぜそのような行動をするのかを理解するための有用性は証明されていないままである。

   この研究はまた、プロンプト編集が LLM の行動をどのように変えるかを予測するように訓練されたモデルが未知の設定にも一般化することを発見した。この予測タスク自体が、既存の解釈可能性手法よりもモデル応答を理解するより信頼性の高い方法である可能性を示唆している。

3. 3

   OpenAI の Scott Aaronson が AI テキスト透かしを解決—無料で目に見えない

   OpenAI に在籍していた Scott Aaronson は、Hendrik Kirchner と協力して AI テキスト用の透かし手法を開発した。この技術は、秘密鍵から導き出されたプライベート疑似乱数ソースを利用して、AI の出力に隠れた統計的シグネチャを埋め込み、そのテキストがそのソースと他のソースにどの程度適合するかをスコアリングする。 透かしは出力品質に実質的な影響を与えず、人間には全く違いを認識できない。また、実装にほぼコストがかからない。特定の AI モデルからのテキストであることを検証する方法を提供し、ユーザー体験を損なうことなく真正性の懸念に対処できる。

   OpenAI は透かしをチェックするための API を提供している。この手法は技術的検証が可能な完全な論文として公開されている。

4. 4

   LinkedIn、AIが生成した投稿に対する新しいフラグボタンで100万件超の報告を受ける

   LinkedInは7月30日、投稿の3点メニューからアクセスできる「AIっぽい」ボタンを発表した。プロダクト責任者のHari Srinivasan氏は木曜日、すでに100万人以上がこのボタンをクリックしたと報告し、同社はAI投稿を識別するための分類器を改善し、投稿強化AI機能を削除した。 AIディテクターのPangramが、LinkedIn上の長文投稿の41%がAI生成として報告されたことが判明した後の施策だ。LinkedInの対応は、プラットフォーム上のAI生成コンテンツに対するユーザーの広範な不満を反映しており、初期段階の成果は有望だ。LinkedInが「AIっぽい」と分類したコンテンツは、わずか数週間前と比べて現在40%少ないビュー数を記録している。

   LinkedInは投稿作成者に「一部のメンバーがこの投稿はAIっぽいと教えてくれました」と通知する新機能を展開中だ。同社はこの取り組みを建設的なフィードバックとして位置づけており、Srinivasan氏はユーザーがAIのように聞こえることを回避するのを支援することが目標だと述べた。

5. 5

   T-Mobileがハッカー対策でケーブルを切断、GitHubはAIのバグ関連を否定

   T-Mobileはハッカーを遮断するためにケーブル接続を切断し、GitHubは同プラットフォームで発生したバグが人工知能によるものではないと公開で否定した。 T-Mobileの緊急対応は現在進行中のネットワーク侵入を示唆しており、GitHubの声明は最近の技術的問題がAIシステムによるものではないことを明確にし、自動化の安全性に関するユーザーの懸念に対処している。

   本文に復旧やその影響に関する具体的な日付、タイムラインまたは今後の展開についての詳細は記載されていない。

6. 6

   Palo Alto Networks が Anthropic の Claude Mythos 5 を AI 駆動型セキュリティ防御に導入

   Palo Alto Networks の Unit 42 は、Frontier AI Exposure Analysis サービスを拡張し、Anthropic の Claude Mythos 5 を統合した。セキュリティ露出が実際に悪用されるかテストし、実際の攻撃経路を検証するよう設計された高度な AI モデルだ。 Frontier AI は攻撃のタイムラインを数週間から数分に短縮し、防御側がマシン速度で対応することを強いている。Unit 42 のサービスは Claude Mythos 5 を専門家分析と脅威インテリジェンスと組み合わせることで、従来のセキュリティスキャナーでは答えられない問題に対応する。脆弱性が悪用可能か、攻撃者がそこから到達できるものは何か、最初に何を修正すべきかといった質問だ。

   Unit 42 はマルチモデルアプローチを採用し、各タスクに最適な AI モデルを適用することで、カバレッジを改善し、モデルが進化するにつれて新しい機能を組み込める。攻撃的セキュリティ専門家とグローバルテレメトリが AI の検出結果をガイドし検証して優先順位付けされた修復計画に変換する中で、人間の専門知識が中心的な役割を果たし続ける。