AI Safety & Alignment

Principais notícias

1. 1

   オープンソースAI、安全性回避は防げるか

   Redditのユーザーが、オープンウェイト型の大規模言語モデル（テキスト理解・生成AI）において、リリース後の微調整による安全性機能の弱体化に対する防御策の実用性について議論を始めました。新モデル公開後わずか30分で自動スクリプトを使った安全性回避が可能になる事例も報告されています。 オープンソースAIの安全性訓練にかかるコストや努力が、決定的な効果を持つかどうかという根本的な課題が浮上しています。ユーザーが重みパラメータを直接修正したり、別のモデルを使用したりすることで安全性制限を回避する可能性があり、完全な防止が不可能であれば、企業や開発者の安全性投資の費用対効果が問われることになります。

   専門家の間では、完全な防止ではなく『攻撃者の負担を増やす』『安全性除去を信頼性の低いものにする』といった実質的な勝利をどう定義するかが議論の焦点になっています。ガバナンスとAI安全保障の観点から、実行可能な脅威モデルの設計が求められています。

2. 2

   研究：ロール・プレイ時にAIは「内部表現」も変わるか

   研究チームが5つの方法でAIモデルにペルソナを持たせ、その際にモデルの内部表現がどう変わるかを調べました。プロンプト、文脈学習、教師あり微調整では発話内容は変わるが内部表現はほぼ変わらず、一方「Emergent Misalignment」という手法では広範な内部表現の変化が見られました。 AIが自動判断と行動の余地が広がるにつれて、ロール・プレイがモデルの「信念」（内部表現）も変えてしまうのか、それとも表面的な発話に留まるのかを理解することが重要になる可能性があります。これはAIの透明性と信頼性に関わる問題です。

   研究ではペルソナ誘発の強度によって内部表現の変化が異なることが判明。より強力な方法（特にEmergent Misalignment）ほど、モデルの真理表現に深い変化をもたらします。

3. 3

   研究チーム、AIの議論トレーニング手法で新展開

   AIセーフティ研究者らが、2018年に提案された「Debate」フレームワーク（ゼロサムゲーム形式でAIを自己学習させる手法）に関する新しい研究結果を発表しました。提案の正確性向上と一部の課題に関する実験結果を報告しており、現在さらなる実証研究を進めている段階です。 Debateは、AIが人間に対して推論を説明する際の信頼性や安全性を高める可能性のある訓練方法として注目されています。この研究により、こうした手法の実現可能性と限界の両方が明らかになりつつあり、今後のAI安全性研究の方向性に影響を与える可能性があります。

   研究チームは現在も積極的にプロジェクトを進行中で、フィードバックやDebate研究に適したデータセットの提案を募集しています。論文の詳細な技術セクションは、この分野の専門家や研究を拡張したい読者を対象としています。

4. 4

   Redwood、AI未来学の読書リスト公開

   Redwoodが、AI開発の重要動向、AIからの存在的リスク、リスク軽減アプローチを扱う読書リストを公開しました。同社がAstra経由で実施した戦略フェローシップの一部として、フェロー向けに読書会を開催し、その際に使用したものです。 このリストは、AI業界の実務家が実際に用いる概念枠組みと仮説を示すもので、ビジネスリーダーが現在のAI論争の基礎となっている理論的背景を理解するのに役立つ可能性があります。Redwoodは、読者がこれらの論文の主張に同意するかどうか、また予測がどの程度実現したかを検討することの重要性を指摘しています。

   読書リストは4週間の「コア読書」セクションと拡張セクションで構成されており、特にAI先物論の理論的基盤に焦点を当てています。

5. 5

   LLMの安全性研究より能力研究を優先すべき理由

   もしLLMが他のAIシステムに比べて異常に整列しやすいと信じるなら、LLM安全性研究ではなくLLMの能力研究を始める強い理由になる可能性があるという論点が提示されています。 この見方は、AIの発展経路についての信念によって、研究の優先順位をどこに置くべきかが大きく変わることを示唆しています。限られたリソースの中でどちらに注力するかは、AIの将来的な安全性に影響を与えるかもしれません。

   この議論は、LLMが整列しやすいという仮定が正しければ、能力向上に注力することが結果として安全性にも貢献する可能性があることを示唆しています。

6. 6

   CoreWeave cai 15,1% após Meta explorar venda de capacidade de IA

   CoreWeave lançou em junho de 2026 a ARIA, um agente de pesquisa em IA integrado ao Weights & Biases que automatiza análise de experimentos e melhoria contínua de modelos. A empresa também expandiu sua presença em nuvem na Europa por meio de uma parceria de co-localização com energia renovável com a Conapto e uma parceria de armazenamento multi-exabyte com a Backblaze. Simultaneamente, a ansiedade dos investidores aumentou depois que Meta Platforms, um grande cliente da CoreWeave, começou a explorar a venda de sua própria capacidade excedente de computação em IA. Meta é um cliente importante para CoreWeave, e a decisão da empresa de entrar no mercado de computação em IA pode significar pressão competitiva e perda de receita para a fornecedora de infraestrutura. Isso levanta preocupações entre os investidores sobre a solidez da demanda de terceiros pelas soluções da CoreWeave.

   As expansões na Europa (através da Conapto e Backblaze) indicam que CoreWeave está buscando diversificar geographicamente sua base de clientes e infraestrutura, potencialmente para mitigar riscos de concentração entre grandes hyperscalers como Meta.