AI執筆の物語、人間の作品より高く評価される

本研究は、2023年の映画テレビ作家組合ストライキによって提起された基本的な問い—AI執筆と人間執筆の創作物を人々は実際に区別できるのか、またAIについての信念が判断をどう形作るのかを調査している。特に創作小説に焦点を当てるのは、創作は人間の経験と洞察が特に重要だと認識される領域であるからである。

研究1は、Prolificを通じて1,682人の成人米国参加者を募集し、15分間の研究に対して3ドルを支払った。サンプルには女性参加者843人、男性809人、非二項またはその他の性別26人、その他2人、回答を希望しない2人が含まれ、平均年齢は45.9歳、18～81歳の範囲であった。各参加者は1編の短編小説を読み、その品質と物語への没入度について質問に答えた。重要なことに、半数には物語の起源についての真実（人間またはAI執筆）を伝えられ、半数には意図的に虚偽情報を与えられた—実際には人間が執筆したときはAI生成と伝えられ、またはその逆であった。この実験設計により、研究者は執筆者ラベルが実際のテキストに独立した評価にどの程度影響したかを測定できた。

本記事は、このアプローチが先行研究と重要な方法で異なることを指摘している。先行研究では、参加者が詩やアートワークがAI生成であると学ぶと、それを美的および感情的側面でより低く評価すること、その偏見は非常に根強いため、AI の印象的な能力を強調することでそれに対抗する試みは失敗したことが分かった。しかし、同じ研究はまた、執筆者が開示されない場合、人々はAI と人間の仕事を区別するのに苦労し、時にはAI出力を好むことも示した。現在の研究は、この矛盾が創作小説に拡張されるかテストしている。

研究2と3は異なるアプローチを取る。すべての参加者は、著者表示のない2つの物語—1つは人間執筆、1つはAI生成—を受け取るが、どちらがどれであるか知らされない。その後、どの物語がAI執筆かを特定するよう求められ、AI ソフトウェアと創作文学の両方についての自分自身の先行経験と専門知識について質問に答える。この設計により、研究者は、どちらの領域における専門知識—AIシステムの知識または創作執筆への深い親熟性—が両出所の間で判別する能力に影響するかをテストできる。本記事は研究2と3の完全な結果が今後発表されることを示唆しているが、報告していない。