AIのテスト成功報告、終了コード0でも偽成功

開発者の環境は、小規模事業者向け業務ソフトを一人で作り、開発をコーディングエージェントのClaude Codeに任せ、テスト結果はAI自身の言葉で届くというものだ。彼が遭遇した障害は誤ったテストではなく、誤ったシェルパターンだった。終了コードを見たい時は`echo "EXIT=$?"`を付け加え、出力を削りたい時は`tail -n 1`にパイプした。どちらのパターンでもチェーン最後のコマンドが全体の終了コードを持つため、実際には失敗したpytestの実行がエージェントに成功シグナルを渡し、エージェントは成功と報告した。彼はWindows Git Bash上のPython 3.14とpytest 9.1でこの効果を再現し、パイプの前に`set -o pipefail`を追加すると失敗シグナルが復活することを確認したが、出力を一切加工しない方が安全だと考えている。彼が使っていた成功・失敗の二分法に収まらないケースが他に二つある。`pytest`はテストを一つも見つけないと終了コード5を返し、開発者は画面のテキストだけを読むAIが「failed」を見ずに問題なしと判断することを懸念する。そして、コマンド自体が起動できない場合、例えばWindows上のPythonから起動したnpmがFileNotFoundErrorで失敗する場合は、合格でも不合格でもない。そこで彼のルールは、報告にコマンドと終了コードを必ず含め、起動しなかった実行を第三の区分として扱い、コード変更前に取得した結果を成功と数えないことにしている。