TwelveLabsが自視点映像AI公開

2021年創業でソウルに拠点を置くTwelveLabsは、MarengoとPegasusのモデルを軸に動画インテリジェンス基盤を築いてきた。Pegasus 1.6で同社はその基盤を企業向け動画ライブラリからフィジカルAIへと広げる。自視点（一人称）映像向けの初モデルだと説明する。これは作業者が料理や部品組み立て、ロボット遠隔操作の際に撮影する種類の映像で、専用ハードと操作者を要することが多い遠隔操作データより大規模に集めやすいとTwelveLabsは主張する。

今回の公開はPegasus 1.5を土台にする。1.5のTime-Based Metadata機能では独自スキーマを定義し、動画からタイムスタンプ付きの構造化データを取得できる。Pegasus 1.6はクリップをまたいで手や物体、工具を追跡するエンティティ認識を強化し、大量処理の高速化と低コスト化も実現した。ロボティクス研究所やデータチームとの既存の協業と並んで登場するが、顧客名や成果の数値は公表していない。

焦点は、ロボティクスチームが普通の一人称映像を、実際の機械の動作を改善する学習データに変えられるかどうかだ。TwelveLabsはロボットの触覚やアクチュエータレベルのセンシングを置き換えるものではないと明言し、映像で起きていることを記述し、チームが自前のセンサーデータと組み合わせられるようにする役割だと位置づける。その組み合わせがロボット訓練を速めるか、自視点映像が同社の主張通り拡張可能かが、既に試験中の研究所の外にこの手法がどれだけ早く広まるかを左右しそうだ。