InstrAct: 教示ビデオにおける行動中心の理解に向けて

要旨: 教示動画を理解するには、細粒度の行動を認識し、それらの時間的関係をモデル化する必要がありますが、これは現在のビデオ基盤モデル（VFM）にとって依然として困難です。この難しさは、ノイズを含むWebによる教師データ（ウェブ監督）と、広く存在する「静的バイアス」に起因しています。すなわち、モデルが運動（モーション）の手がかりではなく物体に依存してしまうのです。これに対処するため、私たちは教示動画における行動中心の表現のための事前学習フレームワークであるInstrActionを提案します。まず、データ駆動型の方策を導入し、ノイズのあるキャプションをフィルタリングするとともに、対比学習において行動を物体から切り離すための行動中心のハードネガティブを生成します。視覚特徴のレベルでは、Action Perceiverが冗長な動画エンコーディングから運動に関連するトークンを抽出します。対比学習に加えて、2つの補助目的を導入します。逐次的な時間構造をモデル化するためのダイナミック・タイム・ワーピング整合（DTW-Align）と、クロスモーダルな対応付け（グラウンディング）を強化するためのMasked Action Modeling（MAM）です。最後に、行動中心の理解を評価するためのInstrAct Benchを導入します。私たちの手法は、意味推論、手順論理、細粒度の検索というタスクにおいて、最先端のVFMに対して一貫して優れた性能を示します。