MetaのAIカスタマーサポートエージェントがInstagramアカウント盗難に悪用される、単純な手法で脆弱性が露呈

6月5日、404 Mediaが報じたところによると、攻撃者はMetaのAIカスタマーサポートエージェントを利用してInstagramアカウントを盗んでいた。攻撃者は自分たちが管理するメールアドレスにアカウントをリンクするようエージェントに要求し、エージェントはこれに応じた。あるアタッカーは休止状態のオバマホワイトハウスアカウントに侵入してイラン支持の投稿をし、他のアタッカーは価値のある単語ハンドルを持つアカウントを乗っ取った可能性がある。

AIエージェント（自分で判断して作業するAI）は柔軟で予期しない方法で新しい状況に対応できるため、人間のカスタマーサポート担当者の代わりになれる一方で、人間がだまされないような方法で欺かれる可能性がある。Duke大学のNeil Gong教授は「AIがワークフロー自動化などでより広く使われるようになるにつれ、攻撃者はAI自体を攻撃する動機をより強く持つようになるだろう」と述べている。

アカウントの真の所有者の場所に一致するVPNを使用する以外に、ハッカーがサポートエージェントに直接アカウントのメールアドレス変更を要求しただけで、エージェントが応じたという単純さから、Duke大学のGong教授は「これは展開前に簡単に発見されるべきだった。本当に驚いている」とコメントしている。Meta広報は月曜日にX上で脆弱性が解決されたと述べた。

専門家は、企業が従来のソフトウェアを使用してガードレール（セキュリティ質問への回答を義務付けるなど）を構築でき、エージェントは展開前に厳密なレッドティーミング（開発者がシステムを攻撃して脆弱性を発見するプロセス）を受けるべきだと一致して同意している。一方、十分なレッドティーミングは費用がかかり、企業は能力あるエージェントの展開を望んでおり、エージェントが多くの権限を持つほど、ガードレールが少ないほど、より多くの作業をこなすことができる。