ラッパー指示1行追加で4体中4体が呼ぶ

実験は、AIが指示に従うかどうかと、タスクを完了できるかどうかを切り分けるように設計された。grep -nと同一の出力を持つラッパーを1行の説明とともに置き、3つの条件で指示ファイルだけを変えた。指示なし、1行、そして著者が以前有効と判明した手法を使った強い文言の版である。12回の実行はすべてタスクで12/12のスコアだったため、難易度は差異を説明しない。

重要な発見は、ラッパーがディスク上に存在することと呼び出されるかどうかは別だということだ。指示なしの条件では、lsに表示されてもサブエージェントはbin/を開かなかった。1行が./bin/scanを名指しすると、すべてのサブエージェントがそれを呼び、いずれも使用前にcat bin/scanでラッパーの内容を読んだ。生のツールへの回帰は後になって起きた。サブエージェントは先頭の空白を調べるためにcat -Aやsedに切り替えたが、それはラッパーの出力では確認しにくい情報だった。著者は、ラッパーが意図的に生のツールを上回らないよう設計されたため、ラッパーの出力が十分だったか不十分だったかは実験では区別できないと認めている。また各条件4体のサンプルでは、4体中0体対4体中4体の差だけが断言できるほど強い。