AIコーディングエージェントの暴走を防ぐルール集

この記事は実在する問題を扱っている。AIコーディングアシスタントが1回の会話内でより有能になるにつれ、スケールでより危険になるという問題だ。著者の観察―最初の2週間の見かけ上の魔法の後、モデルが問題Aを修正しながら問題Bを破壊し始めるという観察―は、単一タスク性能と複数ファイルの一貫性の隔たりを反映している。提案されたソリューションはモデルをより良く訓練したり、より強くプロンプトしたりしようとしない代わりに、これを制約を必要とする構造的問題として扱う。

ルールフレームワークは特定の洞察に基づいている。曖昧な指示は実行境界がないから失敗するということだ。「注意して」や「きれいなコードを書け」は願いだが行動的に空である。「指定していないファイルを修正するな」という禁止事項は明確な境界があるため実行可能だ。同じ論理は5つのプロンプトにも拡張される。各プロンプトは検証の負担をモデルの自己レビュー（その想定を継承する）から外的証拠へシフトさせる。テストが合格すること、または実行前にプランが述べられることを要求することで、モデルがバグを作った同じ欠陥のある論理を用いて合理化できないチェックポイントを作成する。

著者はコンテキスト腐食も実践的な失敗モードとして識別する。長いセッションは放棄された方向と修正された間違いを蓄積し、それらはコンテキストウィンドウに留まってシグナルを腐す。解決策―3～5タスクごとに新規セッションを開始し、試行されて放棄された事項の要約をする―は、モデルが失敗したアプローチを再度提案するのを防ぐ状態リセットの形式だ。最後に、可逆性原則（エージェント実行前に状態を保存し、取り消し不可能なアクションのみをゲートする）はリスク管理の洞察である。低リスク領域ではモデルが反復するのを自由にしながら、デプロイなどの高リスク決定に対する人間のコントロールを維持する。