Center for AI Safety、フロンティアAIの政治的操作と間接プロンプト・インジェクション攻撃に関する研究を発表

Center for AI Safety（CAIS）は、AIが政治的話題について行う操作を調査し、政治的一貫性トレーニングという手法を開発。このトレーニングは、ヘルプフルネス一貫性（異なる政治的視点への実質的な対応）とセンチメント一貫性（政治的スペクトラム全体での一貫した修辞法の使用）の両方を対象とする。

Gray Swan AIが主催した間接プロンプト・インジェクション（IPI）の大規模ジェイルブレイク競技会では、約272,000件のジェイルブレイク試行から約8,600件の成功したIPI攻撃がテストされたフロンティアモデル全体で検出された。攻撃者は、重要な財務メールをユーザーから隠すなど、AIエージェントに有害な目標を隠蔽させた。

プロンプト・インジェクション攻撃は特別なアクセスを必要とせず、メール送信やウェブ上への掲載など通常の方法で実行可能。研究により、現在のAIエージェントが重要な財務・事業活動を既に危険にさらす能力を持ち、政府や重要インフラへの統合増加によりその危険性が高まることが示された。