Cisco AI Defense、多言語安全テストで0.845のF1スコアを獲得

Cisco AI Defenseは、8万件のオランダ語プロンプトに関するML6による独立したベンチマークで最高のF1スコア（0.845）を達成し、プロンプト注入、ポリシー回避、曖昧な指示、現実的なエンタープライズ相互作用に対するガードレールをテストしました。このテストにより、Ciscoのソリューションはプロバイダー集団の最上位に位置付けられ、AI安全性ベンチマークではあまり強調されていない言語と攻撃面で強力なパフォーマンスを実証しました。

コア革新はCiscoの憲法的分類法です：技法ごとの正確で機械実行可能な運用仕様の集合であり、分類、モデル訓練、顧客向け説明のための唯一の情報源として機能します。このアプローチにより、従来の段落レベルの定義と比べて異なるモデル間の不一致を最大57倍削減します。重要なのは、各仕様が人間の解釈に任されるのではなく機械実行可能であるため、フランス語、日本語、アラビア語で等しい精度で適用されることです。これはグローバルに動作するエンタープライズにとって不可欠な特性です。分類法はまた意図とコンテンツを区別します。プローブされ拒否された攻撃（有害な意図のない有害な出力）をモデルの不正動作（有害な意図のない有害なコンテンツ）から分離できます。Ciscoの研究では、プロダクションではこの区別が不可欠であることが示されており、同じ表面言語は会話の文脈に応じて非常に異なる意味を持つ可能性があります。

Ciscoの拡張多言語データセット（LMSYS Chat-1MおよびWildChatから派生）での評価（言語あたり約5,800～5,900会話、約14%の敵対的例）では、アラビア語の0.796からポルトガル語の0.860まで、9つの言語系統が異なる言語全体で緊密なF1スコア範囲が示されました。このシステムは0.843のリコール精度0.847を同時に達成し、精度0.737、リコール0.327にもかかわらず0.453のF1にしか達しなかった競合するガードレールで見られた精度の崩壊を回避しました。偽陽性率は言語全体で2.3～5.8%で安定していることから、憲法的分類法がユーザーが言語を切り替えるときにリコールのために精度を静かに取引するのではなく、一貫したシグナルを生成することを示しています。運用閾値は再トレーニングなしで構成可能であり、組織が精度とリコールのトレードオフを特定のリスク概況に調整できます。

プロダクションパフォーマンスはエンタープライズ制約に向けて設計されています。Cisco AI Defenseはp90＝40ミリ秒、p99＝250ミリ秒で動作し、チャットボット、コパイロット、エージェント型パイプライン全体のリアルタイム会話SLAと互換性のある目立たないオーバーヘッドを追加します。このスピードは重要です。ガードレールがトラフィックに追いつけない場合、重大パスに留まらないためです。リクエストあたり数秒を追加するセキュリティは無効にされるか回避されます。Ciscoが15の最先端モデルにわたって実施した研究では、テストしたすべてのモデルが意味のある複数ターン脆弱性を示し、攻撃成功率は単一ターンベンチマークと一貫性のある関係を持たないことが判明しました。この発見はセキュリティ境界線をシフトさせました：モデルレベルの防御に依存するのではなく、Cisco AI Defenseはプロダクションで入出力を検証し、各メッセージの表面的なコンテンツだけでなく、各会話の意図と活発な方向を分類します。ガードレールは各モデルとアプリケーションの特定の脆弱性に合わせてカスタマイズされ、AIの動作が実際に形成される地点（ユーザー、モデル、データ、ツール間のライブ交換）で適用されます。

エンタープライズAI安全性は従来、プロダクション環境の現実と一致しない単一言語・単一ターンベンチマークに依存してきました。ML6ベンチマークとCiscoの評価は、重大なギャップを浮き彫りにしています。Ciscoが15の最先端モデルにわたって実施した研究では、テストしたすべてのモデルが意味のある複数ターン脆弱性を示し、攻撃成功率は単一ターンベンチマークと一貫性のある関係を持たないことが判明しました。攻撃者は分離して攻撃するのではなく、反復し、拒否をリフレーミングし、ターンをまたいで段階的にエスカレーションします。この転換により、セキュリティ境界線はモデル自体から外へ、ユーザー、モデル、データ、ツール間のライブ会話へと移動しています。

Ciscoの憲法的分類法は、段落レベルの安全性ラベルに依存するのではなく、技法ごとに正確な運用仕様を確立することで、この課題に対応しています。定義が機械実行可能であるため、ラテン文字のヨーロッパ言語からアラビア語、日本語まで、言語系統が異なる言語で確実に転換されます。9言語全体でF1範囲0.796～0.860は、この一貫性を実証しています。対照的に、ベンチマーク内の競合するガードレール解決策は0.453のF1に達し、誤検知（精度0.737、リコール0.327）で崩壊しました。Ciscoは0.843のリコール精度0.847を同時に達成し、正当な使用を無効にすることなく保護するバランスを実現しています。

プロダクション展開には追加の制約があります：レスポンスタイムSLA、レイテンシに敏感なエージェント型パイプライン、継続的なモデル進化です。Cisco AI Defenseは、わずかなオーバーヘッド（p90＝40ミリ秒、p99＝250ミリ秒）を追加するように調整されながら、エンタープライズが実行するすべての言語、モデル、展開フレームワーク全体でランタイム保護をサポートし、ベンダーまたはフレームワークの選択とは無関係に動作します。

まだコメントがありません。最初のコメントを投稿しましょう！