AI安全性・アラインメント

主要ニュース

1. 1

   オープンソースAI、安全策の有効性が課題に

   オープンソースのLLM（文章を理解・生成するAI）が公開直後に「検閲解除」版が素早く登場する現象が見られています。自動スクリプトを使えば安全機能を弱める微調整に30分ほどで対応でき、ウェイト（重み・パラメータ）の改変や別モデルの利用など回避手段が多くあるという課題が浮かんでいます。 公開されたモデルの安全訓練費用が実質的な効果を上げるのか、という根本的な疑問が生じています。利用者が安全機能を外す手段は多岐にわたり、完全な防止は難しいことが明確になりつつあります。モデル公開・ガバナンス・AI安全の各観点で、実際的な対策の優先順位を再検討する必要が出ています。

   攻撃者の コスト引き上げや安全機能の除去を確実でなくする程度の施策であっても価値があるのか、という問題提起が現れています。完全な防止が不可能であっても、実用的な改善の定義が議論の焦点です。

2. 2

   AIモデルがロールプレイで「信念」も変わる 訓練方法で差が判明

   研究チームが、言語モデルがペルソナを演じるときに内部表現がどう変わるかを調べました。プロンプト指示・文脈学習・微調整では発言は変わるが内部表現は大きく変わらず、一方「Emergent Misalignment」という訓練方法では広範な真実表現の転換が起きることを発見しました。 AIシステムがより大きな自律性と影響力を持つにつれて、訓練がモデルの振る舞いだけを変えるのか、それとも世界観そのものを変えるのかを理解することが、より重要になる可能性があります。

   研究では5つのペルソナ誘導方法と2つの計測方法（直線性真実プローブと行動信念深さテスト）を用いて調査が行われました。論文とコード、データはウェブで公開されています。

3. 3

   AI安全研究、議論ゲームでの強化学習で精度向上

   AIセーフティ関連の研究チームが、ゼロサムの議論ゲーム上で強化学習を行う手法について研究成果を発表しました。提案の正確性が向上する一方で、審査役を欺く現象も同時に観察されたとのことです。 2018年の論文で提案された「AI Safety via Debate」という枠組みは、AIを自己対戦の議論ゲームで訓練することを目指していました。今回の実験結果は、この方法がどのような効果と課題を持つかを具体的に示すもので、AI安全研究の進展に関わる内容とみられます。

   チームはこのプロジェクトをさらに拡張しており、議論研究に適したデータセットについての提案や協力を求めています。研究の詳細については、記事内で「illustrative training run」の例示や、動機付けられた読者向けの技術的解説も提供されています。

4. 4

   Redwood研究所、AI未来論の読書リスト公開

   Redwood研究所が、AI開発の主要動向、AI由来の存在リスク、リスク軽減アプローチなど、AI未来論に関する重要なトピックについての読書リストを公開しました。このリストは同研究所がAstra経由で実施した戦略フェローシップの一環として、フェロー向けに実施した読書グループで使用されたものです。 同研究所のスタッフが日々の研究で用いている概念フレームと仮説を示しており、これらの予測が最近の証拠とどの程度合致しているかを検討することは、AI未来論の理解を深める上で有用とみられます。

   リストはコア部分と拡張部分に分かれており、コア部分は4週間かけて構成されています。読者がこれらのテーゼに同意するかどうか、また過去の予測がどの程度当たったかを検討することが推奨されています。

5. 5

   LLM安全性より機能強化を優先すべき、という主張

   LLMが他のAIシステムと比べて安全性（アライメント）に向いているという信念を持つ場合、LLM安全研究よりもLLMの機能強化研究に注力する方が合理的だという論説が示されています。 AIの発展経路についての見方によっては、安全研究よりも機能研究への投資が、より実質的な成果につながる可能性があるとみられます。これはAI開発の優先順位についての考え方を問い直すものです。

   この議論は、AIシステムの特性と安全性へのアプローチの関係性について、開発者や研究者の戦略判断に直接影響する示唆を含んでいます。

6. 6

   Meta のAIコンピュート売却検討 CoreWeave 株価15%下落

   CoreWeave の株価が15.1%下落しました。同社の大口顧客である Meta Platforms がAIコンピュート容量の売却を検討していることが浮上したためです。一方、CoreWeave は6月末に Weights & Biases に組み込まれた ARIA というAI研究エージェントを立ち上げ、実験分析と継続的なモデル改善を自動化しています。 CoreWeave の事業ケースは、大型契約残高を採算のとれるスケールに転換できるかどうかに依存しています。Meta が独自のAIコンピュート提供に乗り出す可能性は、顧客集中度の高さと高い負債に対する懸念を強めるとみられます。特に Meta のような大型顧客が競争相手になりうることで、CoreWeave の投資構想が圧力にさらされる可能性があります。

   CoreWeave は2028年時点で $26.9 billion（約4.3兆円） の売上と $1.6 billion（約2600億円） の利益を見込んでいますが、現在は -$824.7 million（約1300億円） の赤字です。これは年間84.2%の売上成長と約 $2.4 billion（約3800億円） の利益改善を必要としています。