AIエージェントの完了報告を実行ログで検証、半数で不一致

著者が出発点にした問題は、エージェントをタスクの束で動かす誰にとっても馴染み深いものだ。エージェントはツール結果を一度も確認しないままバッチを完了と宣言でき、ループの外側では何も止められない。設計上の答えは、判定ロジックをエージェントの外に置くことだ。VerifierはTask仕様、エージェントのCompletionReport、ExecutionLoggerの記録の3つを比較する。

著者の最初の試みは完了報告のテキストをVerifierに渡し、その中に対象パスを探すものだった。これはエージェント自身の文にたまたま正しいパスが含まれるかを見るだけで、捏造されたパスも同様に満たしてしまうため、採用しなかった。判定をTask仕様と実行ログに絞ったことが、システムを自己採点から遠ざけた。ログは各実行前に消去され、古いエントリが誤一致を起こさないようにしている。

3分割は2つ目の行き詰まりから生まれた。検証済みと未検証だけでは、エージェントが実際には書き込むが対象が1文字ずれているwrong_targetケースが「証拠なし」に落ち、実態を表さない。運用上の修正が異なるため（エージェントを疑うか、タスク仕様を疑うか）、結果はVERIFIED、UNVERIFIED、MISMATCHに分けた。集計をログ行の手読みではなく集計値として保つのは、どの種類のタスクが最も頻繁にずれるかを示すためだ。