Appleのprobe guidanceが最新水準を更新

probe guidanceはautoguidanceの原理を基盤としつつ、推論時の追加フォワードパスを不要にする。これにより拡散モデルをより効率的に誘導できる。連続拡散言語モデルでベンチマークされ、無条件生成で最高結果を達成した。

研究はautoguidance設定も検証した。強いモデルが弱いチェックポイントである場合だ。弱いモデルが訓練の低エントロピー領域由来でなければならないという知見は、これまで十分に理解されていなかった仕組みを明らかにする。今後の誘導手法の設計に影響を与えうる。

拡散言語モデルの開発者にとって、probe guidanceは推論時の追加計算コストなしに性能を高める実用的な道筋を示す。ただし、その広範な影響は他のモデル規模やタスクにどれだけ容易に適用できるかにかかっており、本文ではその点に触れていない。