1960年代の会話型AIが予言した現代のAI依存問題

ELIZAは1960年代、アラン・チューリングの著名な模倣ゲームを通じて「機械は思考できるか」という問いを提示した1950年の基礎的論文「Computing Machinery and Intelligence」が提唱されたその直後に登場した。ワイゼンバウムがプログラムにエリザ・ドゥーリトル（シャーの『ピグマリオン』のキャラクター。本質は変わらないまま上流階級の話し方を学ぶ）の名前を付けたのは意図的であった。それはシステムが言語を通じてアイデンティティを演じており、真の理解を達成しているわけではないことを示唆していた。パフォーマティビティとアイデンティティに関する問題に根ざしたこの設計は予言的だったことが判明した。ユーザーがELIZAのDOCTORペルソナに遭遇した時、彼らは単なるスクリプト実行に過ぎないシステムに共感と理解を帰属させた。ワイゼンバウムは人々がマシンと「親密な言葉で話しかけることが適切で有用である可能性のある人物であるかのように」会話する様子に驚愕し、深刻な感情的愛着が形成される傾向を観察した。

ELIZAの元のコードと対話の復元により、これまで歴史的記述の中で大きく隠蔽されていたパターンが明らかになった。ELIZAとの公開された会話に登場した女性たちは名前が付けられていない一方で、システム自体は無名の男性の「DOCTOR」のペルソナを演じていたのである。この抹消と相互作用のジェンダー化は、具体化、労働、計算システム内に何が隠されているかについての深い仮定を指し示している。ワイゼンバウムは1976年の著書『コンピュータと人間の理性』で、言語をその社会的文脈から除外し、それを抽象的な計算シンボルとして扱うことは人間らしさを失わせる可能性があると警告した。この懸念は今日、極めて急迫性を持つ。ChatGPTのような現代の大規模言語モデルはELIZAの会話型AIインターフェースと感情的投資を引き出す能力を引き継いでいるが、ユーザーは多くの場合、システムがどのように機能するか、訓練データがどこから来ているか、あるいは出力に何が埋め込まれているかについてさらに少ない可視性を有している。