LLM履歴書スクリーニング、バイアスでなくノイズが原因

3ヶ月前に発表された研究者の元の研究は、監査者がLLM履歴書スクリーニングにおいてスコア差の45%をバイアスと指摘したと結論付けていた。u/kamilc86、u/AssiduousLayabout、u/hex4def6の3人のコメント者からの公開フィードバックは、方法論に3つの具体的な根拠から異議を唱えた。推論正当化が事後的に発明されたのではなくスコアを駆動しているのかどうか、プロンプトスキーマの順序付けまたは他の構造的要因が人為的に分散を膨らませているのかどうか、プラセボプロンプトが不一致を膨らませているのかどうかという点である。研究者はこれらの異議を却下するのではなく、それぞれをテストするための新しい実験を実施した。

320回の実行を含む最初の実験セットは、肯定的および否定的な正当化がプロンプトに戻された場合、スコアが推論の方向に99.7%の時間で3.62ポイント移動することを示した。この知見は推論がスコアに影響したことを確認し、推論・原因仮説を検証している。しかし、同じ実験は極端なベースライン不安定性も明らかにした。つまり、LLM出力は同一入力でも大きく異なった。この不安定性は重要である。元の研究で指摘された45%のバイアスの多くが実際にはこの不安定性からのノイズであり、バイアスとして誤ってラベル付けされたことを示唆している。

第2と第3の実験は、プロンプトの構造的変更が不安定性と不一致を軽減できるかどうかをテストした。プロンプトでスコアを最後に移動させる（4,800回の実行を通じてテスト）は安定性に影響しなかった。むしろ、それは不一致を33%から54%に引き上げることで状況を悪化させた。ブラインドプロンプト指示も失敗した。これらの結果は、LLM履歴書スクリーニングが根本的なレベルで不安定であり、単純なプロンプトエンジニアリングではそれを修正できないことを示唆している。研究者が所見を修正して再発表することの決定は、慎重な測定と誤りを修正する意欲がこの分野がLLMバイアスを理解する方法を形作り始めていることを示唆している。