AI安全性・アラインメント

主要ニュース

1. 1

   独立研究者が再帰型AI アーキテクチャ「DABSN」を公開、協力者を募集

   独立した研究者がDABSN（Dynamic Adaptive Bias State Network）という再帰型アーキテクチャを公開した。プリプリント、PyTorch、C++、Tritonコードが公開されている。研究者はGPT-2トークナイザーを使用して10億トークンの事前学習データで2400万パラメータの言語モデルを学習させ、現在は言語モデリングと長文脈の振る舞いに焦点を当てた2番目の論文を執筆中である。 公開実装を備えたオープンソースの再帰型アーキテクチャにより、大企業の研究所以外の広い研究コミュニティが新しいアプローチを再現、検証、発展させることが可能になる。言語モデリングにおける研究者の予期しない結果は、このアーキテクチャが調査する価値のある代替的な効率性や能力プロファイルを提供する可能性を示唆している。

   研究者は独立した再現、評価、および次の言語モデリング論文に関する協力者を積極的に募集している。これは検証とスケーリングに広範な参加が必要となるオープンリサーチの一般的な初期段階である。

2. 2

   NeurIPS 2026がリアルタイム会話型AI関連の初めてのワークショップを開催

   RTCA（Real-Time Conversational Agents）ワークショップがNeurIPS 2026の初めてのワークショップとして立ち上げられ、2026年12月11日または12日にオーストラリアのシドニーで開催される。現在、論文とデモの投稿受付が開始されている。 会話型AIはテキストチャットから音声、映像、具体化されたアバターへと進化し、リアルタイムで動作する必要がある。これらのシステムは同時にストリーミング、リスニング、ウォッチングを行わなければならず、レイテンシー、ターンテイキング、割り込み、クロスモーダル整合性に対応する必要があり、オフラインのテキスト生成よりも根本的に難しい問題を示している。これはAIシステムがユーザーと自然にやり取りする方法の転換を示すものである。

   このワークショップはストリーミング音声・映像・言語生成、リアルタイム相互作用の自然さ、ライブシステムの評価に焦点を当てている。投稿とデモはhttps://rtcaneurips26.github.io/のワークショップウェブサイトを通じて受け付けられている。

3. 3

   企業の半数がAIエージェントを本番環境で失敗させている；大半が人間によるレビューをスキップ

   157社の企業を対象とした調査により、内部評価に合格したAIエージェントを本番環境でユーザーに使用させたところ失敗した事例が半数に上ることが判明した。わずか20社に1社しか自動評価を完全に信頼しておらず、最も指摘される弱点は評価が現実世界の結果と一致していないことである。 企業はAIエージェントにより大きな自律性を付与する一方で、その自律性を制御することを目的とした評価への信頼を失っている。調査対象の企業の3分の2は既に自動評価のみに基づいて本番環境へのエージェント変更の展開を認めているか、積極的に実施しており、人間を介さないまま本番運用を行っている。この研究は付与された自律性と保護手段への信頼の間のギャップを「評価ギャップ」と呼んでいる。

   自動評価への企業の信頼度と人間の監視なしに展開する意思の間のギャップは、構造的な不整合を示唆している。企業はテスト検証が追いつかないほどの速さで製品をリリースしており、多くの企業が顧客の利用後にのみ障害を発見している。

4. 4

   Cohere幹部、エンタープライズAI主権には全スタック制御が必須

   カナダのAIスタートアップCohereの製品エンジニアリング担当副社長Rachad AlaoがVB Transform 2026（メンロパーク開催）で、機密データとインフラストラクチャをエンタープライズの管理下に置きながらAIエージェントシステムを構築することについて講演した。GoogleとMetaで責任あるAIチームを率いた経歴を持つAlaoは、AI主権はコーポレートファイアウォールの背後でオープンモデルを実行するだけでは不十分であると主張した。 ミッションクリティカルなシステムを運用する銀行、病院、政府機関は、データの存在場所を厳密に管理し、単一のAIプロバイダーにロックインされることなくベンダーを切り替える能力が必要とされている。機密情報を扱うエンタープライズにとって、モデルのダウンロードやファイアウォールの使用といった部分的な対策では不十分であり、真の主権はAIエージェントスタック全体の制御を要求している。

   この講演は、サードパーティのAIインフラとベンダーへの依存が機密事業を露出させたり、単一のAIプロバイダーへの依存を生み出しかねないという、大規模組織の懸念の増加を反映している。Cohereが全スタック制御を強調していることから、同スタートアップはより大規模なクラウドやAIベンダーに運用の自主性を譲ることに消極的なエンタープライズに対応する立場を固めつつあることがうかがえる。

5. 5

   OpenAI、自己対戦を用いた自動安全性システム「GPT-Red」を発表

   OpenAIは、自己対戦を活用して AI安全性、アライメント、プロンプトインジェクション攻撃への耐性を向上させる自動レッドチーミングシステム「GPT-Red」を導入しました。 AIシステムの弱点を意図的に探るレッドチーミングは、AI安全性研究の中核です。自己対戦によってこのプロセスを自動化することで、OpenAIは手動テストだけでは実現できないスピードと体系性で脆弱性を発見・修正でき、デプロイ済みモデルの安全性を強化できる可能性があります。

   このシステムはAI安全性、アライメント、プロンプトインジェクション耐性の3つの主要分野に焦点を当てています。GPT-Redが本番環境のモデルでエッジケースの障害をどの程度効果的に検出できるかが、実世界への影響を測る指標となります。

6. 6

   OpenAIが米国のAI統治に向けて「逆向きの連邦主義」を提案

   OpenAIはAI安全性と民主的原則を構築するために州レベルの法律が国家的枠組みの構築に役立つことができる「逆向きの連邦主義」と呼ぶ統治アプローチを概説している。 現在、米国ではAI統治の統一された国家的基準が欠けており、OpenAIの提案は連邦の委任が下から流れるのではなく、州の実験が連邦政策に情報を与える可能性があることを示唆しており、業界全体にわたって安全性規範を確立するためのより迅速で適応性の高い道を提供する可能性がある。

   このフレーミングは、州の革新が連邦行動に先行する他の分野での議論を反映している。議会と州議会がこのモデルを採択するかどうかは、今後数年にわたってAI安全基準がどのように出現するかを形作るだろう。