AmazonがA+品質評価システムを公開

このシステムは現実的な選択から始まっている。数千のラベル付き事例で視覚言語モデルを微調整するのではなく、Amazonはモデルとその評価基準プロンプトを固定し、得られたスコアでCatBoost分類器を訓練する。これにより更新はCPUのみの短時間ジョブで済み、アノテーションが蓄積したり基準が変わったりする中で重要な点となる。

第二の層は視覚言語モデルが見落とすものを補う。OCRが各テキストブロックとその位置を抽出し、テキスト密度、文字密度、間隔、全体の読みやすさに関する可読性シグナルを生成する。これらをモデルの4つの評価基準スコアと統合することで精度は0.94に上がり、視覚言語のバックボーンを入れ替えても0.16と0.15の改善が得られたことから、補完的なシグナルはモデルをまたいで通用すると示唆される。

スコアだけでなく、SHAPは各特徴量に予測をどれだけ押し動かしたかを示す値を割り当て、LLMが最もマイナスに寄与した特徴量を優先的なアクションに変換する。さらに拡散ベースのコンポーネントが、SHAPが指摘した側面に対応するすぐ使える画像素材を生成する。Amazonはコンテンツ基準がカテゴリ、言語、マーケットプレイスごとに異なると注記し、グローバルなカタログ向けにより効率的なバックボーンを評価する計画だ。