Claude Codeに副業を任せ2ヶ月半で失敗5つ

仕組みは3つで構成されていた。目的や禁止事項、価格の下限、文章基準を記したCLAUDE.mdファイル。判断や計測値、失敗を日付付きで記録する台帳。そして顧客向けの文章と金銭判断を検査するが実装はしない、別の監査用サブエージェントだ。

ある失敗が、この分離がなぜ重要かを示している。空のコンテキストのサブエージェントが成果物をレビューした際、5件の指摘を出し、そのうち2件は人間がすでに判断済みだった。さらに1件は、確認なしに人間の判断を覆す修正になりかけた。これを止めたのは、より文脈を理解するモデルではなく台帳だった。文脈を持ちながら、メインモデルが台帳を参照していなかったのだ。

逆の方向を示す出来事もある。外部の数値に計測日を必須としないと人間が決めた後、監査役が異議を唱え、2日後に人間は自らの判断を覆して監査役の立場を採用した。また台帳から引用した行番号は1日のうちに4回ずれたという。例えば :1309 が実際には :1333 であるといった具合で、台帳は行の挿入で成長し、それ以降がすべてずれるためだ。