AI評価システムの位置バイアス問題が明らかに — 回答の順序で判定結果が変わる欠陥を検証するベンチマークが公開

GitHub上で、LLM（大規模言語モデル=文章を理解・生成するAI）の評価方法に隠れた欠陥を測定するツール「Position Bias Benchmark」が公開された。このツールは、2つの回答の順序を入れ替えて同じAIに判定させ、順序の違いだけで評価が変わるかどうかを調べる仕組み。

多くのAIが、実は同じ品質の回答でも『最初に提示された方が優れている』と判定する傾向（位置バイアス）を持つことが判明。これにより、AIの「公平性」とされていた評価自体が信頼できない可能性が浮き彫りになった。

AIベンチマーク企業やAI開発チームは、自社モデルの本当の性能を知るため、順序を変えた複数の評価パターンで検証し直す必要が生じた。既に公開されたモデル比較ランキングの順位さえ変わる可能性があり、ChatGPT、Claude、Geminiなどのモデル選定判断に影響する。