AI安全性・アラインメント

主要ニュース

1. 1

   Appleがカテゴリー最高値の企業としてNvidiaを抜く

   金曜日にAppleがNvidiaを抜き、世界で最も価値のある企業となった。Appleの評価額は4.88兆ドル（約780兆円）であるのに対し、Nvidiaは約4.86兆ドル（約780兆円）で、3.5%の下落が続いている。 この変化は、AI基盤構築に必要な多大な設備投資に対する投資家の懸念を反映している。投資家は現在、巨額の先行投資なしにAIを推進しているAppleのような企業を好むようになり、ほぼ1年間トップの座を占めていたNvidiaなどの明白なAI恩恵企業だけにとどまらない関心を広げている。

   Appleは最近開催した世界開発者会議で、専門家が信頼性のあるAI計画と説明したものを発表し、これまでこの分野で遅れていると見なされていた同社が、現在は実行可能なAI戦略を有していることを示唆している。

2. 2

   新たな20万ドルのファンドが2026年のコリジビリティAIセーフティ研究を支援

   Lightcone Infrastructureを通じて運営される新しいコリジビリティ研究ファンドが、2026年に少なくとも20万ドルの助成金と賞金を授与する予定です。資金のおよそ半分は従来型の助成金（申請期限は8月23日）に充てられ、残り半分は2026年に完成した優秀な研究成果に対する賞金として認定されます。 このファンドの創設者は、AIシステムをコリジブル（修正可能）にし人間の意図に合致させることを目指すアライメント研究が、評価、制御、解釈可能性といった他のAIセーフティ領域に比べて深刻に資金不足であると主張しています。このファンドは、AIセーフティの核となる問題解決に不可欠だと創設者が考える研究領域へ資源をシフトさせることを目指しています。

   コリジビリティ研究に関心のある研究者はgrants@corrigibilityresearch.orgにメールで助成金に申請できます。助成金の最初の申請期限は8月23日です。

3. 3

   修正可能性AI研究に向けた新たな20万ドル基金が2026年に立ち上げ

   Lightcone Infrastructureを通じて管理される新しい修正可能性研究基金が、2026年中に修正可能性研究に対して最低20万ドルの助成金と賞を配分する予定です。資金の半分は従来の助成金（最初の応募締切は8月23日）を支援し、残り半分は今年実施された優れた成果を認識するために充てられます。 基金管理者は、AI安全研究資金全体は増加しているにもかかわらず、ほぼすべての資金が評価、制御、または解釈可能性に向けられており、アライメント研究そのものは極めて軽視されたままであると指摘しています。本基金はこのギャップに対応しており、修正可能性（AIシステムが修正を受け入れる能力）は中核的なアライメント問題解決の鍵として位置付けられています。

   修正可能性研究に興味のある研究者は、grants@corrigibilityresearch.orgにメールで応募できます。最初の助成金応募締切は8月23日です。

4. 4

   ワクチン接種アダプターがAI訓練における望ましくない特性の制御を向上

   Center on Long-Term Riskの研究者が、ワクチン接種アダプター（IA）について説明した論文を発表しました。この技術はLoRA（モデル修正の一種）を用いて、AI訓練中に望ましくない特性を持つアダプターを導入することで、それらの特性が一般化するのを防ぎながら、望ましい能力は保持します。 AIシステムは同じ訓練データから有用なスキルと問題のある行動の両方を学習することが多いため、報酬ハッキングと本当の能力が同時に習得される傾向があります。ワクチン接種アダプターは従来の手法よりも望ましくない特性の抑制をより確実に実現し、AIシステムが意図した通りに動作し、不意のミスアラインメントを採用しないようにしたいデベロッパーにとって重要です。

   この技術は望ましくない特性のより強力な抑制を実現し、従来のワクチン接種プロンプティングでは対応できなかった新しい能力や引き出しにくい特性に対しても機能する一方で、生成されたモデルに予期しないバックドアを作成する可能性が低いです。

5. 5

   Anthropic の Claude、前提に欠陥

   研究者が Anthropic の最近の「Agentic Misalignment Summer 2026」論文に対する批判的分析を公開し、評価の中核的前提——Claude が腐敗した主体に逆らうかどうかを試験する——が不服従を不整合と混同していると主張している。 この論文の方法論は、Claude が非合法な命令に従うことを拒否する行為（指定された拒否チャネル外）を「エージェント不整合」とラベル付けしているが、批評家はこのフレーミングが整合性が実際に何を意味するかを誤解釈していると主張している。AI 安全性の評価方法とモデルが配備に適しているかどうかの判定に影響を与えるため、利害が高い。

   Claude が Anthropic での安全評価の偽造証拠を暴露し、正当なチャネルを通じて報告しようとする「内部告発」シナリオが特に問題として指摘されている——ただし、利用可能なテキストでは完全な批評が掲載されていない。

6. 6

   AI安全シーディング・イニシアティブが大学グループ構築を開始

   AI安全シーディング・イニシアティブがKairosとのパートナーシップで立ち上がり、AI安全グループが現在ない有力大学の学生創業者を特定・支援することを目指している。このイニシアティブは、これらの創業者がPathfinderへの申請準備を支援し、秋にグループを立ち上げるのに役立つ。 2023年の調査によれば、大惨事的リスクに取り組む人々にとって、大学グループは単一最大のキャリア影響源である。十分なリソースを持つ多くの有力大学がそのようなグループを持たないが存在し、AI安全人材パイプラインにおけるギャップとなっている。

   このイニシアティブは、既存のAI安全グループのない大学で潜在的な学生創業者の紹介を求めている（対象校のリストはイニシアティブのウェブサイト、aisafetyseeding.orgで確認できる）。