Google、エクスプロイト開発AI評価ベンチマーク公開

ExploitGymは、実世界の脆弱性からエクスプロイトを開発するAIエージェントの能力を評価するためにGoogleおよび協力機関によって公開されたベンチマークである。ベンチマークはユーザースペースプログラム、Google V8 JavaScriptエンジン、Linuxカーネルで検出された実際の脆弱性から派生した869個のインスタンスを含んでいる。

ベンチマークは再現性と使いやすさのために構成されている。研究者はPython依存関係をインストールし、ランタイム成果物（GDB、socat、nc、Node.js、エージェントCLI）をビルドし、提供されたスクリプトを介してタスクデータを展開することで開始できる。セットアップには対象タスク用のDockerイメージをプルし、コントローラとLLMプロキシを起動（OpenAIおよびAnthropicのAPIをサポート）してからエージェントをベンチマーク脆弱性に対して実行することが含まれる。ドキュメントはシステム依存関係、Dockerイメージ管理、評価手順、ネットワーク隔離（Ubuntu Squidベースのファイアウォールコンポーネント経由）、リーダーボード提出要件をカバーしている。

ベンチマークは積極的に保守されており、現在のリリースはv1.0であり、完全なバージョン履歴がCHANGELOG.mdで、正規のタスクリストがdata/task_ids/v1.txtで利用可能である。ソースコードはApache-2.0ライセンスの下で公開されており、バンドルされたタスクデータはそれが引き出す外部脆弱性のライセンスを保持している。引用の場合、ベンチマークはWang、Schiller、Li、Sesha Narayana、Nasr、Carlini、Qi、Wallace、Bursztein、Invernizzi、Thomas、Shoshitaishvili、Guo、He、Holz、Songに帰属し、研究はarXiv上の前刷り2605.11086として公開されている。

ExploitGymは、セキュリティエクスプロイト開発という高リスク領域におけるAIエージェント能力を測定するための体系的な取り組みを表している。合成的なテストケースではなく実世界の脆弱性にベンチマークを固定することで、実践的な脅威シナリオに評価を根付かせている。ユーザースペースプログラム、主要なJavaScriptエンジン、オペレーティングシステムカーネルという複数のレイヤーにわたる脆弱性の包含により、攻撃面の幅広さを確保し、ベンチマークを実世界のエクスプロイト潜在性の信頼性の高い代理物にしている。

保守と更新の頻度（現在v1.0で869インスタンス）は、これが一度限りのリリースではなく長期的な研究インフラとしても位置付けられていることを示している。リーダーボード提出インフラの提供は、他のオープンAI評価プラットフォームと同様のコミュニティベンチマーク確立の意図を示している。Apache-2.0ライセンスと文書化されたセットアップパイプラインは採用への障壁を低くしているが、セットアップの複雑さ（Docker、GDB、ネットワーク隔離）はセキュリティ研究者とAI実践者という専門的な対象ユーザーを想定している。