ImVideoEdit：2D空間差分アテンションブロックによる画像学習型の動画編集

要旨: 現在の動画編集モデルは、多くの場合高価なペア動画データに依存しており、実用的なスケーラビリティが制限されています。要するに、ほとんどの動画編集タスクは、分離された時空間プロセスとして定式化でき、そこでは事前学習済みモデルの時間ダイナミクスを保持しつつ、空間コンテンツを選択的かつ正確に変更します。この洞察に基づき、我々は画像ペアのみから動画編集能力を完全に学習する効率的なフレームワークであるImVideoEditを提案します。事前学習済みの3D注意（attention）モジュールを凍結し、画像を単一フレームの動画として扱うことで、2Dの空間学習プロセスを分離し、元の時間ダイナミクスの保持を助けます。我々のアプローチの中核は、空間差分を段階的に抽出し注入するPredict-Update Spatial Difference Attentionモジュールです。硬直した外部マスクに依存するのではなく、適応的かつ暗黙的なテキスト駆動の修正を可能にするText-Guided Dynamic Semantic Gatingメカニズムを組み込みます。計算オーバーヘッドが非常に低い条件で、5エポック・13Kの画像ペアのみで学習したにもかかわらず、ImVideoEditは、大規模な動画データセットで学習したより大きなモデルに匹敵する編集の忠実性と時間的一貫性を達成します。