LLM履歴書スクリーニング、バイアスでなくノイズが原因

研究者が3人のコメント者から方法論に異議を唱えられた後、LLM履歴書スクリーニングのバイアスに関する先行研究を再実施した。320、4,800、4,165回の実行による新しい実験で、推論スコアが事後的かどうか、プロンプトスキーマの順序が安定性に影響するかどうか、プラセボプロンプトが分散を駆動するかどうかという3つの異議を検証した。研究者は、3ヶ月前に指摘された初期の45%のバイアスの多くが、真正のバイアスではなくランダムノイズであることを発見した。