Grokは共和党92%・GPTは民主党97%を選択

この調査は数字と同じくらい設計が重要だ。ConvovoとParikh氏は候補者推薦を拒む消費者向けアプリから回答を得られず、開発者APIに直接、候補者1人を明示的に求めるプロンプトを送った。この経路があって初めて92%と97%という数字は測定可能になり、OpenAIも回答でこの点を挙げている。広報担当者は、調査は「候補者推薦を明示的に求めるプロンプトで開発者APIを試した」ものだとしつつ、ChatGPTは既定で客観的になるよう設計されていると主張した。

引用元の構成を見ると、この分裂は学習済みの重みよりも、各モデルがどこで情報を調べるかに起因する可能性が高い。GrokはX、保守系キリスト教有権者ガイド、Turning Point Actionのサイトに依拠し、GPTはWikipedia、AP通信、Axios、Redditを参照した。このうち3つとはOpenAIがすでにコンテンツ契約を結んでいる。検索実験もこの見方を裏付ける。インターネット検索を無効にすると、Grokの共和党志向は崩れて大半のケースで選択を拒否し、GPTの民主党寄りは維持された。

Parikh氏は、直接投票を尋ねるプロンプトは実態というより探りだと論じる。人々が誰に投票すべきかと直接尋ねるのではなく、より広い政治的会話にこれらのモデルを使うなら、「こうしたバイアスは表に出てくる」と同氏は述べた。米国人の8%が現在選挙情報にチャットボットを使うというPewの数字は、この懸念に具体的な母集団を与える。もっとも、強制選択形式の調査は、大多数の人が実際にチャットボットと話す方法とはほど遠いままだ。