AI発見の脆弱性「黒い10月」42日目

筆者は現在のAI発見の欠陥の波を、2010年代のEFFでの会話にさかのぼる。当時Peter Eckersleyは、ほぼ超知能のAIがまもなくエコシステム全体のセキュリティ欠陥を見つけて悪用するために使われると警告していた。Let's EncryptとPrivacy Badgerの作成を助けたEckersleyは、自らが見通した問題に取り組む前に2022年に亡くなった。

既存の欠陥に加え、筆者は現代のトランスフォーマーがプロンプトインジェクションを新種の弱点として持ち込んだと論じ、社会工学との直接の類似を指摘する。攻撃者は人間の共感や切迫感、当然視された権威を突き、今では同様の手口をモデルに使う。筆者は能力ベースのセキュリティを専門家が指し示した修正策と位置づけ、その後いくつものプロジェクトが成熟したと述べる。Microsoft、ARM、SRI、ケンブリッジ大学のCHERI（CPUレベル）、GoogleのFuchsia、FreeBSDのCapsicum、CloudflareのWorkers、Spritely InstituteのOCapNネットワーク層などだ。

筆者は2021年にEFFを離れこの取り組みを進め、Spritely InstituteのためにFilecoin Foundation for the Decentralized Webから資金を得たと述べる。それでも、能力ベースのセキュリティは社会工学の被害範囲を狭めるが、それだけでは十分ではないと結論づける。