暴走AIは癌細胞、止めるには免疫系必要

論考は単純な観察から論を組み立てる。AIのパネルは何かが危険だと一致して判断できても、その判断に基づいて行動はできない。医学になぞらえ、3人の医師が癌と正しく診断できても、腫瘍の摘出には手術や放射線、薬、免疫系が必要だと指摘する。

さらに、監視役のAIを増やせば新たな標的が生まれると警告する。攻撃者が3つの監視AIすべてに同じ改ざんデータを送り込めば、3人とも同じ誤った検査結果を見せられた医師のように、そろって誤った結論に達しうる。だから多様性はモデルだけでなく、情報源や基盤インフラにも及ぶべきだと著者は論じる。

最後の層は人間の判断だ。免疫系が誤作動して自己免疫疾患を起こすように、AI監視システムが正常なサービスを危険と誤分類すれば、それ自体が障害になりうると論考は指摘する。安全設計に終着点はなく、暴走AIはコンピューターウイルスではなく、発生ゼロを保証するのではなく早期発見・隔離・復旧を要する癌のようなリスクだと位置づけている。