AI安全性・アラインメント

主要ニュース

1. 1

   NVIDIA、AIエージェント監視の安全基盤

   NVIDIAが「NVIDIA Open Agent Safety Platform」を発表。 エージェントの外部から境界を強制するため、エージェントが誤作動したり侵害されたりしても制御が維持される。エージェント自身の安全機構では得られないチェックだ。

   普及は多数のパートナーが実際に統合を出荷するかにかかる。Anthropic、Salesforce、SAPはOpenShellの組み込みを計画し、ロボティクス分野ではFigureも加わる。

2. 2

   Walmart、AIによる個人別価格設定を否定

   Walmartが、AIを使って顧客ごとに異なる価格を設定する方針を否定した。 個人別価格は消費者に不公平感を与えかねず、小売大手の姿勢が問われるとみられる。

   大手小売がAI活用の方針をどこまで明示するかが焦点となる。

3. 3

   VisaもAIによるリスクへの警戒感に加わる：ロイター

   ロイターによると、VisaはAIを悪用したリスクへの警戒感の高まりに加わった。 大手決済企業が声を上げたことで、懸念が最初に提起した企業の枠を超えて広がっていることがうかがえ、決済企業がこの問題にどう対応するかに影響を与える可能性がある。

   Visaが具体的にどのような行動を取ったかは報道からは不明であり、他の決済企業が追随するか、規制当局が反応するかが試金石となる。

4. 4

   Palo Alto NetworksとNVIDIA、AIエージェントの制御を強化

   Palo Alto NetworksはNVIDIAとの協業を拡大し、AIエージェントがアクセスできる対象と実行できる操作を制御する。エージェントの活動、ネットワークトラフィック、ID管理をNVIDIAの「Open Agent Safety Platform」リファレンスデザインの下でカバーする。Palo AltoのAI・ネットワークセキュリティ担当EVP、Anand Oswal氏は「セキュリティはエージェントが何をできるかを制御しなければならない」と述べた。 この協業が狙うのは、限られた人間の関与のもとでコードを書き、企業データを取得し、ソフトウェアツールを使うAIエージェントだ。企業はやり取りを検査し、ツールを制限し、機密データを除去し、利用状況とコストを追跡する場所を一つ得られることになる。

   提供状況は大きく異なる。NVIDIA BlueField DPU上のPrisma AIRS AI Runtime SecurityとNVIDIA OpenShellは一般提供済みだが、NVIDIA Vera CPU上のPrisma AIRS AI Gatewayは将来のアーキテクチャの一部とされている。

5. 5

   ServiceNow（NOW）、AIエージェントのセキュリティを自社プラットフォームに統合

   Simply Wall Stの報道によると、ServiceNow（NOW）はAIエージェントのセキュリティを自社プラットフォームにより密接に統合しつつある。 ServiceNowはAIエージェントの保護機能を中核サービスに組み込みつつあるとみられ、顧客にとって重要な意味を持つ可能性がある。

   報道には具体的な内容がほとんどないため、価格設定とパッケージ化が試金石となりそうだ。

6. 6

   Anthropic、950のClaudeエージェントが初のAIによる生物学上の発見を成し遂げたと主張　生物学者らは反発

   Anthropicは、950のClaudeエージェントからなるシステムが分子生物学のある課題に21時間取り組み、既知の酵素の周囲に反復パターンを見つけ、それをCRISPRに関連付けたと発表。これに対し生物学者Lucas Harrington氏が痛烈な批判を展開して話題となり、Eli Lillyの会長兼CEOも同調した。 争点は、DNAライブラリーにおけるAIのパターン発見が科学上の発見と言えるのか、それとも画期的な成果につながらない単なる面倒な作業にすぎないのか。この論争にはすでにEli Lillyの幹部も加わっている。

   論争の鍵は、AI企業がある物事をAIの画期的成果と呼ぶ際により高い基準を設けるかどうかにかかっている。Harrington氏は今すぐそうすべきだと述べたが、記事によればSam Altman氏とDario Amodei氏が競い合っているため、その基準の優先度は低いかもしれない。