ProofRun：AI エージェントのテスト実行を暗号学的に検証

ProofRun はオープンソースのコマンドラインツールで、テストとビルドチェック結果を正確なコード状態に暗号学的に紐付け、AI 支援開発における信頼問題を解決する。AI コーディングエージェントが「すべてのテストが成功した」と主張するとき、それは真実かもしれないが、以前の実行に基づいて推測したり、単に推測したりしているだけかもしれない。言葉だけからはその違いを判定する方法がない。ProofRun はその主張そのものを検証可能にすることでそのギャップを埋める：実際のコマンド（例：pytest）をサブプロセスで実行し、実際の終了コードを読み取り、その結果を現在のコードのフィンガープリントに紐付けて保存する。

フィンガープリントは重要なメカニズムである。すべての結果は git コミットハッシュと未コミット変更（ステージされているか否か、追跡されているか否かを問わず）すべての SHA-256 ハッシュに紐付けられる。1 バイトでも変更されれば（スペース、新しい行、何でも）、結果は自動的に STALE になる。ツールは proofrun status が呼び出されるたびにフィンガープリントを再計算し、保存されたレシートと比較する。これは開発者が「この PASS はまだカウントされるのか？」と質問することを記憶する必要がないことを意味する。システムが自動的に正しく答える。

ProofRun は 4 つのステータスをサポート：PASS（コマンドが成功）、FAIL（コマンドが失敗）、STALE（コード変更により結果が古くなった）、NOT RUN（チェックが実行されたことがない）。注目すべきことに、「おそらく大丈夫」や「成功したと思う」という 5 番目のステータスはない。各ステータスは観察された実行または文書化された欠落から生じる。ツールはどこでも LLM 呼び出しを行わない。AI で AI を検証しない。代わりに実際のサブプロセスを開始し、その終了コードを読み取る。それが全体の検証メカニズムである。完全にオフラインで、ネットワーク呼び出しやテレメトリがない。

設定は最小限である。ユーザーは .proofrun.yml ファイルを作成して、各チェックにコマンド（シェル文字列ではなく argv 配列として指定）と必須フラグを持つ名前付きチェックを宣言する。例えば、テストチェックは command: [pytest]と required: true を宣言し、ビルドチェックは command: [npm, run, build]を宣言するかもしれない。proofrun run test -- pytest が実行されると、ProofRun は pytest を実行し、結果を紐付ける。コード変更後に proofrun status が呼び出されると、ツールはフィンガープリントがもはや一致しないチェックに対して STALE を報告する。--strict フラグは、必須チェックが PASS でない場合、proofrun status をゼロ以外のコードで終了させ、プリコミットフックや CI ゲートとして使用可能にする。

ProofRun は Claude Code（AI エージェント）により人間の指示の下で構築され、最初のリリース前に複数ラウンドの独立した読み取り専用敵対的レビューを受けた。そのレビューは脆弱性を発見した：ProofRun のコマンド比較は誤引用されたシェル引数でだませられる可能性があり、チェックがゼロのテストを実行しながら PASS を報告できた。開発者は docs/case-study.md に完全な再現と正確な修正を文書化し、すべての修正は受け入れられる前に実際の再現に対して検証された。単にレビューされ、単なる尤もらしさでレビューされるのではなく。この審査は意図的である：AI エージェントに説明責任を持たせるために設計されたツールは、それ自体に適用される同じ基準に耐えることができなければ存在できない。

GitHub Action（yebiguo/proofrun@v1）がプルリクエスト用に利用可能である。正確な PR head コミットをチェックアウトし（合成マージプレビューを信頼しない）、PR ブランチに含まれるレシート.json をクリアし、チェックサム検証された ProofRun バイナリをダウンロードし、proofrun run-all を実際に実行し、proofrun status --strict でゲートされる。PR にチェックインされたレシートについては信頼されない。すべての結果は Action によって新鮮に生成される。既知の制限：.proofrun.yml がベースブランチと異なる場合、Action は警告を発行（ビルドアノテーション経由）するが、PR がチェックのコマンドを緩和する可能性があり、Action は忠実により弱いバージョンを実行するため、それをブロックしない。チームは他の変更と同様に .proofrun.yml diff をレビューすることが推奨される。

ロードマップには一般的なテストランナー（pytest、Jest、JUnit）の v0.3 での構造化出力サポート、署名された改ざん防止レシート（計画中だが未設計）、同じ PR 内で .proofrun.yml が弱められるのを防ぐための .proofrun.yml 自体の保護が含まれる。プロジェクトは MIT の下でライセンスされ、STALE 検出とレシートスキーマをその最も重要な保証として、意図的に狭い範囲の若い pre-1.0 ツールである。