Apple、翻訳品質評価でLLMと人間を比較

Appleの研究者たちは、広く信じられている仮定を検証しようとした。大規模言語モデルは、人間よりも安価かつ効率的に機械翻訳の品質を判定できるという仮定だ。彼らは、多次元品質指標（MQM）と誤り範囲注釈（ESA）という2つの確立された方式について、70言語ペアの長文コンテキストのテストセットとWMT23およびWMT25のデータセットを用い、LLMと人間の注釈者の一致度を比較した。

結果はまちまちだった。一部のタスクでは、LLMと人間の注釈者の一致が、人間の注釈者同士の一致を上回った。しかしその一致度は注釈方式、言語ペア、領域によって大きく異なり、どちらの手法もほとんどの設定では信頼できなかった。

論文はそれぞれの側の弱点も特定している。人間は特に細粒度のMQM注釈と低資源言語ペアに苦戦し、LLMは軽微な誤りや誤った言語変種、誤り範囲注釈に苦戦する。著者らは、人間とLLMの協調的な注釈パイプラインが、特定した信頼性の問題に対処できる可能性があると指摘している。