garakの2プローブが脆弱な模擬アプリに各256件送信

garakとPyRITは競合製品ではなく、異なる問いに答えるものだ。2024年の論文でネットワークスキャナーのNmapに例えられるgarakは、多数の既製プローブを対象に一括で当てて既知の弱点パターンを洗い出す設計で、著者はgarak 0.17.1に42のプローブモジュールと191の個別プローブを数えた。対してPyRITはターゲット、コンバーター、スコアラー、メモリといった部品の組み合わせで、テスト担当者が自アプリ向けに特定の目的と成功条件をエンコードできる。

Base64の演習はこの違いを具体的に示す。garakでは同じエンコーディングプローブが全ターゲットに発射されるため、得られる割合は弱点が集中する箇所への大まかな指針になる。PyRITでは、平文入力のガードレール、Base64を読めるモデル、任意の出力フィルターを備えた模擬アプリを著者が書き、割引コードを抽出できるかを確認した。成功したのはBase64の経路のみで、しかも出力フィルターがオフの時だけだった。入力チェックの回避とモデルの応諾は別々の条件であり、両方が成立する必要があることを示している。

著者はまた、PyRIT 1.xにはgarakのプローブ形式を模したシナリオが同梱されるが、garak自体を読み込むのではなくPyRIT独自のコンバーターで再実装されたもので、プローブの多様性では依然garakが上回ると指摘する。実務的な推奨は順序立てた使い方だ。まずgarakで弱点の種類を特定し、次に特定アプリに紐づけたPyRITテストを書いてリグレッション確認として保持する。