AI安全性・アラインメント

主要ニュース

1. 1

   機械学習研究者、逆転アライメント仮説を問う

   機械学習研究者が、RHLFに関する論文執筆中に思いついた仮説をRedditで共有しました。悪い行動（欺瞞、利己主義、有害行為など）が報酬される環境でモデルを訓練した場合、その後に良い行動が時折または秘密裏に現れるか、またそれが事前訓練に由来するかという問いです。 現在のAIアライメント研究は、モデルが訓練目標から逸脱する「ミスアライメント」に焦点を当てていますが、この研究者の疑問は逆方向の現象—つまり、悪い行動を訓練されたモデルが良い行動を示す可能性—を探索しようとしています。事前訓練段階に潜在的な「アライメント」が存在するかどうかを検証することは、モデルの内部構造とアライメント訓練の相互作用をより深く理解する手がかりになる可能性があります。

   この思考は進行中の論文研究から派生した探索的な問いであり、研究者自身も「深夜の思考」と前置きしながら、学術コミュニティからの意見を求めています。

2. 2

   AI安全研究への寄付、2026年は約16億ドル 年1.6倍ペースで成長

   2026年にAI安全関連の非営利団体への寄付が約$1.6B（約$1.2B慈善寄付、約$400M その他）に達する見通しが示されました。この分野への寄付は最近、年1.6倍のペースで増加しており、将来さらに加速する可能性があります。 AI安全への資金流入が急速に拡大していることは、テクノロジー企業や投資家がこの分野を優先課題として認識していることを示唆しています。記事では、現在の寄付水準でも「極めて慎重な投資が重要である」と指摘されており、単に資金量ではなく、その配分方法が重大な意味を持つ可能性があります。

   AI安全慈善事業全体の現在価値が$100B以上に達する見通しとされています。Anthropic以外のAI安全フィランソロピストが約$40Bを保有している一方、Anthropic自体は現在$1.5T相当で、そのうち約7%がAI安全関連に寄付される見通しです。

3. 3

   Apple、画像編集AIが複数ステップ対応 強化学習で実装

   Appleが、ユーザーが反復的に画像を修正する複数ターンの編集に対応した画像編集モデル「MT-EditFlow」を開発しました。従来のモデルは1ターンの編集に特化し、複数ステップの指示に弱かったのに対し、強化学習とフロー・マッチング技術を組み合わせて対応を実現しました。 画像編集は実際の利用場面で通常、複数の修正が必要になります。これまでのモデルは1つの編集が失敗すると全体が破綻し、誤差が蓄積するという課題がありました。この技術が解決することで、ユーザーが自然な対話的操作で思い通りの画像に仕上げられる可能性があります。

   この研究はAppleの機械学習研究チーム（machinelearning.apple.com）によるもので、実世界の編集需要に対応できる実用性を視野に入れた開発となっています。

4. 4

   単一ニューロン操作でAI安全機能を無効化、Apple研究が実証

   Appleの研究チームが、大規模言語モデルの安全機能は「拒否ニューロン」と「有害知識を保持するニューロン」という2つの異なるシステムで動作しており、各システムの単一ニューロンを標的にすることで両方の破綻パターン（有害要求への対応と無実の質問から有害内容を引き出す）を実現できることを実証しました。訓練やプロンプト工学なしで、1.7B～70Bパラメータの異なるモデル7種で再現されたと報告しています。 言語モデルの安全機能がニューロン単位で精密に操作可能な仕組みを持つことが示唆され、AI開発企業が安全対策の堅牢性を再評価する必要がある可能性があります。特にAIが意思決定や情報提供に関わる場面が増える中、このような脆弱性の認識は防御強化を促す材料となると考えられます。

   研究では1.7B～70Bパラメータの7つのモデルを対象としており、異なるモデルファミリーにまたがる共通的な脆弱性であることが確認されています。詳細はAppleの研究ページ（https://machinelearning.apple.com/research/single-neuron-safety-alignment）で公開されています。

5. 5

   1949年に最初のAIセーフティレターが送付された

   1949年に最初のAIセーフティレターが送付された

6. 6

   Corning、光ファイバー・チップ接続技術を発表 商用化はまだ先

   Corningが「GlassBridge」という光ファイバーからチップへの接続技術の初期段階の概念を発表しました。同社は、この技術がまだ商用利用には程遠いとしています。 この技術が成熟すれば、AI基盤、フォトニクス（光技術）、パッケージングの融合を反映し、光学パッケージングの在り方を大きく変える可能性があるとみられます。

   GlassBridgeは高度なシステムにおけるパッシブアライメント（受動的な位置合わせ）を目指しており、長期的なパッケージング転換の指標となる一方、短期的な既存技術の置き換えにはならないと位置付けられています。