VTAM: VLAsを超える複雑な物理的相互作用のためのビデオ・触覚・アクション・モデル

概要: 動画-アクション・モデル（VAMs）は、身体化された知能のための有望な枠組みとして登場してきました。生の動画ストリームから暗黙の世界ダイナミクスを学習し、時間的に一貫した行動予測を生成します。これらのモデルは視覚推論によって長いホライズンの課題で強い性能を示す一方で、重要な相互作用状態が視覚だけでは部分的にしか観測されない、接触が多いシナリオでは依然として限界があります。特に、きめ細かな力の調節や接触遷移は視覚トークンに確実に符号化されず、その結果、不安定または不正確な挙動につながります。このギャップを埋めるために、触覚を補完的なグラウンディング信号として取り込むマルチモーダル世界モデル化フレームワークである「動画-触覚アクション・モデル（VTAM）」を提案します。VTAMは、軽量なモダリティ転送のファインチューニングによって、事前学習済みの動画トランスフォーマに触覚ストリームを追加し、触覚-言語のペアデータや独立した触覚の事前学習を必要とせずに、効率的なクロスモーダル表現学習を可能にします。マルチモーダル融合を安定化させるために、クロスモーダル注意のバランスを強制する触覚正則化損失を導入し、行動モデルにおける視覚潜在の優位を防ぎます。VTAMは接触が多い操作において優れた性能を示し、平均で成功率90パーセントを維持します。高い忠実度での力の認識が必要なポテトチップのピックアンドプレースのような困難なシナリオでは、VTAMはpi 0.5ベースラインを80パーセント上回ります。これらの結果は、触覚フィードバックを統合することが、世界の行動モデルにおける視覚推定誤りを修正するうえで不可欠であり、物理的に基盤づけられた身体化ファウンデーション・モデルに対するスケーラブルなアプローチを提供することを示しています。