S-VAM: 自己蒸留による幾何的・意味的予見を備えたショートカット動画-アクションモデル

要約: ビデオアクションモデル（VAMs）は、複雑な操作タスクに対する強力な視覚的予知能力のおかげで、ロボット学習の有望なパラダイムとして浮上してきました。しかし、現在のVAMsは、通常、遅いマルチステップのビデオ生成またはノイズの多いワンステップの特徴抽出のいずれかに依存しており、リアルタイム推論と高忠実度の予知を同時に保証することはできません。この制限に対処するため、単一のフォワードパスで一貫した幾何的および意味的表現を予見するショートカット・ビデオアクションモデル（S-VAM）を提案します。安定した設計図として機能するこれらの予見表現は、行動予測を著しく単純化します。この効率的なショートカットを実現するため、マルチステップのデノイジングにおける構造化生成事前情報をワンステップ推論に凝縮する新しい自己蒸留戦略を導入します。具体的には、拡散モデル自身のマルチステップ生成動画から抽出された視覚基盤モデル（VFM）の表現が教師ターゲットを提供します。軽量デコプラーは生徒として、ノイズの多いワンステップの特徴をこれらのターゲットへ直接写像することを学習します。シミュレーションと現実世界での広範な実験は、我々のS-VAMが最先端手法を上回り、複雑な環境での効率的かつ正確な操作を可能にすることを示しています。プロジェクトページは https://haodong-yan.github.io/S-VAM/