マルチモーダルLLMを判定役として使う手法が進化し、動画理解など複雑な評価でも小規模な専門モデルが大規模汎用モデルを上回る性能を発揮できることが明らかになりました。

何が起きたか

VideoJudgeという3B/7Bサイズの小規模な専門型マルチモーダルLLM（複数種類の情報を理解するAI）が、動画に基づくテキスト回答を評価するために開発されました。このモデルは大型の汎用モデルと同等かそれ以上の性能を発揮し、テスト時に評価基準を生成して詳細で解釈可能なスコア付けができることが示されました。

なぜ重要か

従来の判定役としてのLLMは、大規模なモデルが必要と考えられていました。しかしVideoJudgeの研究により、ビデオのような複雑なマルチモーダル入力に対して、専門的に訓練した小規模モデルの方が、テキスト記述だけを見るテキスト専用LLMよりも精度が高く、より効率的に運用できる可能性が示唆されました。

注目点

VideoJudgeは、VideoInstruct-100K、VCG-Plus-112K、VideoChat2-ITという3つの大規模ビデオ指示応答データセットから取得した人間の正解回答をもとにトレーニングデータを構築し、生成モデルの評価値と評価モデルの評価値のズレを計算して反復改善する手法を用いました。