GPT-6 Astra幻覚減少も隠れプロンプト注入に弱さ

OpenAIのGPT-6 Astraは、特に幻覚の低減と直接攻撃への耐性において、AI安全性の面で一歩前進を示している。しかし、AIが読む文書に悪意ある指示を隠す間接的なプロンプト注入への脆弱性は、安全な企業環境でAIエージェントを導入する上で重要な課題を浮き彫りにしている。記事によれば、これらのテストは本番用の安全レイヤーを外した素のモデルで実施されており、実際の防御はより強力かもしれない。

報告された数字はトレードオフを示している。直接的なプロンプト注入に対するAstraのほぼ完璧な防御率（99.99%）は、外部テストでの間接攻撃に対する8.5%の失敗率と鲜明な対照をなす。このギャップは、モデルがユーザー操作に対しては十分に強化されている一方、外部コンテンツとの相互作用を悪用する攻撃には依然として影響を受けやすいことを示唆している。記事はまた、以前のテスト結果がより簡単なデータセットと異なるテスト条件に基づいており、直接比較が難しいことも指摘している。

企業への影響は明らかだ。文書の読み取りと処理を中核業務とするAIエージェントは、重大な攻撃対象となり得る。これらのエージェントが大規模に導入されるにつれ、こうした攻撃のリスクは拡大する。記事は企業に対し慎重さを求め、Astraは改善されているものの、完全に安全なAIエージェント導入にはまだ信頼性が不十分だと警告している。