AI企業Gray Swanの創業者が、AIシステムの新たなセキュリティ脅威について語る——従来のサイバーセキュリティとは異なる対策が急務

何が起きたか

Carnegie Mellon大学の研究者Zico KolterとMatt Fredriksonが、Gray Swanという企業を立ち上げ、LLM（文章を理解・生成するAI）の脆弱性を研究・検査するサービスを提供しています。彼らは米政府がMythosとFableに対して輸出規制指令を発行したことで、プロンプト・インジェクション（悪意のある指示をAIに混ぜ込む攻撃）といったAI固有のセキュリティリスクが注目を集めたと述べています。

注目点

同社はSeries Aの資金調達を実施し、Snowflakeが投資家に含まれています。Gray SwanはShadeと呼ばれるAdversarial Red Teaming Tool（AIの堅牢性を攻撃的に検査するツール）やCygnal（AIの安全保障製品）、そしてAI Red Teaming Arenaといったセキュリティ関連の複数の製品を提供しています。