Sakana AIのSAIL、ロボット作業成功率73%

SAILが狙うのは、正しく見える計画と、実際に物体を動かせる動作との間のギャップだ。VLMはグリッパーの位置・姿勢・開閉の系列を出力でき、逆運動学コントローラは各ウェイポイントに到達できる。それでも把持に失敗するのは、点に到達することと、そこで把持できることが同じではないからだ。SAILはこのギャップを、候補軌道をシミュレータで実行し、得られた映像からフレームを抽出し、評価VLMに各サブタスクの進捗を0～100%で推定させることで埋める。この進捗スコアはウェイポイントに紐づけられるため、生成VLMは合否ラベルだけでなく、どこで進捗が止まったかが注記された軌道を受け取る。これにより高スコアの区間を保ち、低スコアの区間を修正できる。

探索側は、各ノードが軌道全体、各枝がその修正版であるモンテカルロ木探索として枠組み化されている。著者らが報告した同一15候補での比較では、探索と修正を組み合わせて6タスク平均65%の成功率に達し、フィードバックなしの幅優先生成は51%、反復修正の深さ優先は37%だった。ただしこの予算でのノートPC閉じタスクでは幅優先法の方が高スコアであり、この手法が一律に最良とは限らない。

実運用では負担が再構築に移る。本文によれば、GroundingDINOで物体を検出し、SAM2でセグメンテーションし、深度から3D点群を構築し、カメラキャリブレーションとArUcoマーカーでシミュレータに配置する。実機実行はオープンループで、1タスク・各手法6試行のみの検証であるため、このループが報われるかは、対象の作業台をどれだけ忠実にシミュレーションで再現できるか、そしてタスクをどれだけ反復するかにかかっていそうだ。