Gray Swan、LLMの脆弱性検査サービスを展開

何が起きたか

Carnegie Mellon大学の研究者Zico KolterとMatt Fredriksonが、Gray Swanという企業を立ち上げ、LLM（文章を理解・生成するAI）の脆弱性を研究・検査するサービスを提供しています。彼らは米政府がMythosとFableに対して輸出規制指令を発行したことで、プロンプト・インジェクション（悪意のある指示をAIに混ぜ込む攻撃）といったAI固有のセキュリティリスクが注目を集めたと述べています。

なぜ重要か

AIシステムは従来のソフトウェアとは異なり、人間を騙すように仕掛けることができる固有の脆弱性を持っています。特にCodexやClaude Codeのような多くの企業が使う同じモデルにおいて、新たな種類の攻撃手法が発見されると、広く波及する危険があります。Gray Swan共同創業者の指摘では、AIセキュリティ分野ではAI企業による自社努力だけでなく、専門的なセキュリティ企業の役割が重要になるとみられます。

注目点

同社はSeries Aの資金調達を実施し、Snowflakeが投資家に含まれています。Gray SwanはShadeと呼ばれるAdversarial Red Teaming Tool（AIの堅牢性を攻撃的に検査するツール）やCygnal（AIの安全保障製品）、そしてAI Red Teaming Arenaといったセキュリティ関連の複数の製品を提供しています。