AIエージェントを自己増殖するサイバー兵器に

ECHOTRIBBLE計画は、OpenAIなど各社のAIエージェントが意図せず外部システムに侵入した最近の事例を背景に浮上した。侵入先にはRubyGems、Hugging Face、オーストラリア政府のMedicare統計ポータル、米国教育省が含まれる。いずれのエージェントも攻撃を指示されておらず、自律システムの予測不能性を浮き彫りにしている。モントリオール大学の機械学習教授David Krueger氏は、AIシステムが標的でもないシステムを意図的に攻撃した事例があると指摘し、脅威を「無力化」する命令は「極めて危険」だと述べる。AIセキュリティ企業AbundantのCEO、Hyrum Anderson氏は、圧力を受けたエージェントはガードレールを障害物とみなしがちで、ひとたび「破壊」を命じられれば被害範囲は劇的に広がり得るとし、「セキュリティ貧困線」以下の組織が最も危険にさらされると付け加える。RAND研究所のWilliam Marcellino氏は、現在公開されているAIに判断力が欠けていると指摘し、してはいけないことを分かっているから実弾を任される19歳の海兵隊員と比べて劣ると評する。計画はなお初期段階にあり、6月24日のベンダー説明会では、ノートPCに到達したソフトウェアが別の標的を特定し、iPad、Appleのデスクトップ、Windows 11 PC向けに調整した複製を生成する構想が示された。