Hugging Face、AI評価の比較不能を指摘

ベンチマーク論争は、AIラボが評価結果に自らの評判を懸けるようになるにつれて大きくなってきたが、Solaiman氏によれば評価手法は複雑でなお成熟途上にある。再現性は以前からベンチマークの難しい側面の一つであり、同氏はあるテストを他の評価とどう比べるかという問題も加わると指摘した。

組み込み型評価者はここ数カ月、ラボが相次ぐ安全インシデントに対処する中で広まった手法で、Hugging Faceもその一つで有名な標的となった。ラボは政府の積極規制の代わりに第三者の解決策を推進してきたが、評価者が実際にどれほど中立で効果的かには疑問が残る。Anthropicが最初の評価者としてAccentureを雇った判断は、同コンサルティング会社の資格を嘲笑する批判者から反発を招いた。

評価はモデル単体から、ハーネスやエージェントを含む周囲のシステム全体へと移りつつある。Solaiman氏はエージェント評価は非常に難しく高コストだと述べ、エージェント全体に対する優れた評価が開発されつつあっても、ハーネスの評価はモデルの評価より少ないと語った。同氏は現在の評価状況を一種の無法地帯と表現し、ベンチマークを指導者にとって有用な道具であり続けさせるには、業界全体でより統一された手法が必要かもしれないと示唆した。