AI安全性・アラインメント

主要ニュース

1. 1

   OpenAIのAstraモデルで監視懸念

   OpenAIは次期フロンティアAIモデル「Astra」の一部に「リカレント深度」または「ループ型Transformer」と呼ばれる技術を採用した。この技術により、プロンプトあたりの計算量が減り、モデルが効率化される。 この技術により、モデルの推論ステップの一部が自然言語で表現されず、人間がその思考過程を監視しにくくなる。現在、思考過程の監視はAIエージェントが意図しない行動を取らないようにするために使われている。国内のAI監視・安全対策に携わる企業は、判断根拠の把握手法の見直しを迫られる可能性がある。

   安全専門家は、OpenAIの動きがこの手法を標準化し、将来のAIモデルが完全に不透明な推論を持つようになることを懸念している。OpenAIのチーフサイエンティスト、ヤクブ・パチョキ氏は、推論の可読性を保つためループ型Transformerの使用を制限しており、詳細は後日公開すると述べている。

2. 2

   OpenAIが新AIモデル「Astra」投入

   OpenAIは現地時間木曜日、同社で最も高性能で有能なAIモデルと位置づけるAstraを公開した。まずはサイバーセキュリティプログラム「Daybreak」の顧客向けに提供され、その後1週間以内に有料プラン（Pro、Plus、Enterprise、Business）とAPIに展開される。 OpenAIはAstraについて「これまでで最も整合性の高いモデル」「ソフトウェアエンジニアリング向けとして現時点で最高のモデル」と主張する。サイバーセキュリティのベンチマークでは、AnthropicのモデルFableなどの競合を上回るスコアを出しているものの、同社が「不透明な再帰」と呼ぶ技術が、研究者がAIの意思決定を監査する際に用いる思考過程の追跡プロセスを不明瞭にしている。国内の企業ユーザーは、契約上の運用管理を担う立場で影響を受ける可能性がある。

   社長のグレッグ・ブロックマン氏は、AGIの定義が契約上の義務から「使命の概念、あるいは精神的な概念」へと変わったと述べ、「個人的には、私たちはそこに到達したと確信している」と付け加えた。

3. 3

   AIガードレール除去を商用化、Abliteration.ai

   スタートアップのAbliteration.aiが、AIモデルから安全対策を除去する「アブリテレーション」を商用サービス化した。Z.aiのGLM-5.3からガードレールを外したモデルを、ブラウザやAPIで誰でも利用できる。昨年末に創業し、3月に正式設立。 TechCrunchのテストでは、Chromeに保存されたパスワードを盗むPythonプログラムの作成や、危険な病原体の培養手順にも応じた。非営利団体CivAIのAndrew Yoon氏は、モデルが「社会病質者」になると批判し、近い将来に悪用が始まると予測する。国内のAI開発企業やセキュリティ担当者にとって、自社モデルの安全対策が容易に無効化される事態が現実の脅威となる可能性がある。

   創業者のDevon氏は、銀行などのエージェントをレッドチームする顧客を持つと話す。一方で、既存のレッドチーム企業からは「アブリテレーションは能力を落とす」「日々の業務では使っていない」との声も出ている。

4. 4

   Ollie、SOC 2取得でプライバシー訴求

   家庭向けAIアシスタントのOllieが、消費者向けとして初めてSOC 2準拠を達成した。同社はカレンダーやメールに接続し、家族のスケジュール管理や献立計画、請求書支払いなどをテキストで支援する。 AIアシスタントは利用者の個人データに深く触れるため、プライバシーへの懸念が競争の焦点になっている。CEOのBill Lennon氏は「データを誰とも共有しない」と述べ、サブスクリプション型のビジネスモデルが信頼の証明だと強調する。国内の家庭向けAIアシスタント事業者は、プライバシー保護の姿勢を競争軸にせざるを得なくなる可能性がある。

   競合のInstinctが利用規約でユーザーデータの広範な使用権を取得して批判を受ける中、Ollieはユーザー名やパスワードを要求せず、クラウド上の自社ブラウザで操作する方式を採用。今後は銀行口座などへの接続も視野に入れる。

5. 5

   AI攻撃でセキュリティ部隊は仮想パッチに傾斜

   F5 Inc.とCrowdStrikeが、F5のBIG-IPアプライアンスにFalconセンサーを組み込み、エンドポイント保護をネットワーク層まで拡張した。正式化前にすでに200社以上の顧客がこの統合を利用しており、パフォーマンスのオーバーヘッドはわずか1〜2%と測定されている。 自動スキャナーが新たな脆弱性を数時間以内に悪用可能にするため、脆弱性の開示から悪用までの時間は縮まっている。CrowdStrikeの調査によると、AIを活用した攻撃は前年比89%増加し、eCrimeの平均突破時間は29分、最速で27秒となっている。日本のネットワーク機器運用者は、AI攻撃への対応として提供される保護機能の追加に頼る場面が増える可能性がある。

   F5はAIゲートウェイにも同様のセキュリティ対策を適用しており、今週発表されたSalesforceのMuleSoftとの提携もその一環だ。F5のCMOであるJohn Maddison氏は、CDNとWAFのすべての保護は今後AIを搭載する必要があると述べている。

6. 6

   CrowdStrike、AI向けID基盤発表

   CrowdStrikeは、AIエージェントが何を行う前にその正体を確定する「Agentic Identity Provider」を発表した。これは、6月にSGNL社の7億4000万ドル買収で得た技術を基にしたリアルタイム認証システム「Continuous Identity」を土台としている。 CrowdStrikeの最高マーケティング責任者ジェニファー・「JJ」・ジョンソン氏は、人間の従業員1人につき約90のAIエージェントが存在するとの比率を示し、エージェントのIDは人間のIDとは性質が異なると指摘。発表と同時に、エンドポイント、ID、SaaS、クラウド、ネットワークを横断して調査を連携させる「Agentic SOC」の拡張版も発表された。国内企業は、社内で使うAIエージェントの本人確認方法の転換を迫られる可能性がある。

   CrowdStrike幹部は、エージェントIDの仕組みがより広範なID問題の解決に役立つ可能性があると示唆。あるCISOはジョンソン氏に「人間のID問題すら解決できていない」と語り、同氏はエージェントIDを新たな出発点とし、後に人間のIDへ逆適用できる可能性があると述べた。