Apple研究者、SSRで推論レイテンシ90%超削減

小規模モデルは容量が限られるため、各行動の前に長い自由形式の推論を生成しても、行動生成に役立つ指針がほとんど得られないまま推論コストだけが膨らむ問題があった。SSRはこの推論を、あらかじめ用意した再利用可能な自然言語候補からの選択に置き換える。候補ごとの尤度を現在の文脈に基づいて評価し、補助タスクヘッドを必要としない点が特徴である。

事前定義された推論トレースを使うことで、共有コンテキストKVキャッシュを用いた並列スコアリングが可能になり、候補内および候補間でトークン尤度を同時に計算できる。2Bと4Bのモデルで7つのマルチモーダル検索ベンチマークを評価した結果、複数の強化学習目的と教師あり微調整を通じて、タスク性能を犠牲にせず効率を改善できることが確認された。