AIへの手順指示、守られたのは8回中3回

筆者は、重要で短い指示を目立つ位置に置けば守られるという通説から出発し、指示ファイルの肥大化に関するClaude Code公式ドキュメントを根拠に挙げた。それをきちんと検証するため、答えの分かっているタスクを用意した。RESULT:で始まる行から正しい値を抜き出す12個のログ風ファイルを使い、正解表はスクリプトで生成してサブエージェントに渡すディレクトリの外に置いた。

最初の2実験を通じて、素材の量（12ファイル対60ファイル）もプロンプトの行数も遵守率に影響せず、1本ずつ開く指示に対するサブエージェントのツール呼び出し回数も低いままだった。ここから別の変数が見えてきた。指示に従うことが採点対象の出力に痕跡を残すかどうかである。そこで3つ目の実験では、位置・範囲・必要な労力が同じ2つの指示を隣り合わせに置き、従った記録が残るかどうかだけを変えたところ、痕跡を残す指示は4回中4回守られた。

筆者は証拠の限界にも率直で、回答スコアがすべて完璧だったためタスクが簡単すぎて強い結論は出せないこと、Aを加えたときに改善した理由はこの設計では説明できないことを認めている。実務上の結論は、指示を書き換えるのではなく、過程を示す出力を求める一行を近くに添えるか、痕跡の残らない指示は守られない可能性があるものとして扱うことだ。