HiPHIデータセット、人型ロボット訓練の空白狙う

人型ロボットは多くの状況でバランス、移動、物体とのインタラクションを学ぶ必要があるが、既存のデータ源には明確な限界がある。インターネット動画は多様な行動を提供するが精密な物理状態は捉えられず、ラボのモーションキャプチャは正確な動きを記録できるが通常狭い行動しか対象にしない。HiPHIはサブミリ精度の光学式モーションキャプチャと幅広い行動を組み合わせ、この空白の両側に対処しようとしている。

データセットの設計は、人間の行動を扱う言語的枠組みであるFrameNetに依拠し、全身運動のカバレッジを体系的に整理する。また245.7時間の人と物体のインタラクションについて、同期した物体軌跡とメッシュを運動に対応付けており、論文はこれにより運ぶ、押す、引くといったタスクの教示にデータが役立つと主張する。運動の多様性とインタラクションのグラウンディングのためのベンチマークスイートは、研究者に進捗を測る手段を与える。

白書はデータ収集にとどまらず、データセットで訓練し実機のUnitree G1人型ロボットに導入したポリシーを報告している。このsim-to-real転移が、試験した特定のタスクではなく取得した行動と物体の全範囲で成り立つかどうかが、ロボティクスチームがこのデータセットをどれだけ広く採用するかを左右しそうだ。