AIエージェントの事故6類型を分析

Dockerの「Coding Agent Horror Stories」シリーズの第1回は、OpenClaw、Claude Cowork、Copilot CoworkといったツールがAIエージェントを多段階の業務プロセスへ一層深く押し込む中で公開された。収録された事故は2024年10月から2026年2月にわたり、Claude Codeの要求がホームディレクトリ全体で再帰的削除を実行しキーチェーンのデータを破壊した事例から、AWSのエンジニアのKiroエージェントが本番環境の再構築を最善の修正と判断し、中国リージョンのAWS Cost Explorerを13時間停止させた事例まで多岐にわたる。Nxモノレポツールへのサプライチェーン攻撃や、偽のREADMEスキルによるClawHavocキャンペーンは、エージェントが読み込むコンテンツやプラグインからもリスクを引き継ぐことを示している。

こうした状況の中で、Anthropicの対応は示唆に富む。Claude Codeは当初、ファイル書き込みとbashコマンドに承認を要求していたが、長いタスクではプロンプトが大量に発生したため、開発者は分離環境以外では推奨されない全スキップフラグ「--dangerously-skip-permissions」に頼るようになった。自動モードはその中間に位置し、分類器を使って大量削除、機密データの漏えい、悪意あるコードを阻止し、エージェントが繰り返す場合にのみエスカレーションする。

Anthropicが公開したデータは、同社が2026年8月に自動モードをPro、Max、Teamプランでオプトインからデフォルトに移した理由を説明している。危険なコマンドの人間による検出率は、セッション序盤の約17%から、50回以上のプロンプト後には約5%に低下したが、自動モードの阻止率は変わらなかった。Anthropicは利用データを再評価し、本番データベースの行削除など深刻度7以上の有害な操作が、手動承認下（6.3%）では自動モード下（2.4%）の2倍以上頻繁に発生していたことも判明した。同社はこれを保証ではなく警告と位置付けているが、人間のチェックポイントを増やしてもエージェントが安全になるとは限らないことを示している。