Apple、CapQuizを公開

動画キャプションは長らく、モデルが生成したテキストを正解の参照と突き合わせて評価されてきた。CapQuizを手がけたAppleの研究者らは、これは動画には不向きだと主張する。一つの動画は多くの妥当な方法で説明でき、二つのキャプションがどちらも正確でありながら異なる視覚的細部に重きを置くことがある。参照照合では、こうした正当な違いが誤りとして現れる。著者らはまた、既存の評価が一次元的で、キャプション品質の細かな内訳を示さない点も指摘する。

彼らの代替案は、問いを「このキャプションは参照に似ているか」から「このキャプションは重要な情報を伝えているか」へと組み替える。これが彼らの言う情報忠実度だ。良いキャプションは、厳密に事実に即しつつ、重要な視覚的内容を網羅すべきである。CapQuizはこれを、各動画を人間検証済みの多肢選択問題に変えることで具体化する。問題は記述的・推論的のカテゴリーにまたがる10種の問題タイプと24の動画領域からなる階層的分類を網羅する。CapF1はさらにスコアを二つに分け、CapPで事実性、CapRで網羅性を示し、二つの次元を独立に読めるようにする。

謳われている成果は実証的だ。広範な実験で、CapQuizは既存指標より人間の判断との相関が大幅に高く、モデル性能について解釈可能な洞察を与える。それが定着する標準となるかは、この研究の枠を超えた採用にかかっており、またチームが単一の類似度スコアより問題ベースの信号を行動に移しやすいと感じるかどうかにかかっているだろう。