Karan Joshi、Museの内部ファイルを抽出

Museの急速な普及——数百万回のダウンロード、ユーザーによる銀行口座やメッセージ、健康データの接続——により、その内部構造は当然の監視対象となった。最近、複数の研究者が内部ファイルを抽出し、その一人である独立系AI安全性・セキュリティ研究者のKaran Joshiは、チャット界面に自身のソフトウェアファイルを共有するよう求めるだけで、多数の指示とシステムプロンプトを引き出した。

抽出された指示には、「ユーザーの人生における全ての人のページ」を毎時構築するルーチンが記されている。家族、パートナー、友人、同僚、協力者、ユーザーがフォローする人々を基にしている。Museのドキュメントによると、ページは最初は乏しくても時間とともに充実し、Facts、History、The relationship、In common、Open threads、Strengtheningなどのセクションが含まれる。指示は、捏造された詳細は空のページより悪いため、利用可能な証拠のみを使うようモデルに命じており、誕生日や記念日など「重要な日付」をその人の履歴とともに記録できる。

ここでの文脈が重要だ。Metaは、Museは公開情報とユーザーが共有を選んだものから収集し、エージェントはユーザーごとの専用仮想マシンで動作し、監査ログと記憶消去の制御があると述べている。オックスフォード大学AI倫理研究所のCarissa Vélizが指摘するように、AIシステムには私たちがAIから得る情報よりもはるかに多くの情報が与えられている。試されるのは、これらの制御が、民主主義技術センターのMiranda Bogenが述べるように、ユーザーに自らの人生全体を差し出すよう積極的に促すツールという性格を相殺するのに十分かどうかだろう。