REVERSAL-BENCHが示すリセット不要RLの崖

自律強化学習の前提は、外部リセットなしでポリシーを継続的に訓練すること——自ら学習を続けるエージェントである。この前提は、環境が可逆的である、つまり誤りを元に戻せるという仮定に静かに依存してきた。実世界の操作では、多くの場合そうはいかない。物体をテーブルから押し落としたり、粒状物質をこぼしたりすることは、エージェントが元に戻せることではない。

REVERSAL-BENCHは、その仮定を直接検証するために作られた。連続パラメータρ∈[0, 1]で可逆性を制御し、状態の回復可能性を検証するリセットオラクルを追加することで、著者らは不可逆性を高め、5つの物理エンジンで8つの操作設定にわたり何が起こるかを観察できた。結果は鋭い可逆性の崖であった。ρが増すにつれてリセット不要エージェントは一貫して回復不能な状態に吸収される一方、エピソード型エージェントは安定した学習を維持した。この失敗は自律リセット不要ベースラインと制約付きRLの両方で現れ、学習された操作ポリシー下の完全な物理シミュレーションでも持続した。

著者らは解釈上重要な対照実験も行った。幾何学的に同一の可逆な counterpart と比較することで、破綻が障害物の複雑さではなく不可逆性によって因果的に駆動されていることを確認した——同じレイアウトを可逆にしても、同じ失敗は生じなかった。不可逆的な失敗の前に介入する安全シールドは回復可能性を正確に予測できたが、能動的回復が主に機能したのはエージェントが物理的に罠を避けられる場合のみだった。したがって、重要なのは回復が単に予測可能かどうかではなく、物理的に利用可能かどうかである。