Copilot Harness、ツール無効でも同一結果

テストではFoundry portalで同じ依頼を3回実行した。指定した文字列でhello.txtを作成し、シェルでcatとpwdを実行する内容だ。組み込みツール5つすべてが有効な状態では、6秒で完了し、45,011トークンを使用した。書き込みとシェルを無効にすると、出力は同一だったが、36秒かかり91,300トークン——約2倍——を使用し、トレースにはタスクのステップが表示された。テストした筆者はこれをサブエージェントへの委任と解釈している。サブエージェントも無効にした時だけ、エージェントはファイル作成やシェル実行の手段がないと答え、所要時間は4秒、トークンは6,247だった。

公式資料は、ツールの無効化は厳密なセキュリティ境界ではないと警告しており、この結果をギャップの別の例と位置づけている。また、サブエージェントがタスク内で実際にシェルや書き込みを使ったのか、ダイアログのWebツールがFoundryの別個のウェブ検索ツールと同じ条件を備えているのかも明らかにしていない。