YOSE：必要なトークンだけを選択することで、DiTベースの動画オブジェクト除去を効率化

要旨: 近年、拡散トランスフォーマ（DiT）に基づく動画生成技術の進展により、動画からの対象物除去に関して印象的な成果が報告されています。しかし、これらの手法はいまだに大きな推論遅延の問題を抱えています。たとえば、MiniMax Removerは最先端の視覚品質を達成しているものの、実行速度は主に全ての時空間トークン空間に対する密な計算に起因して、実質的に約10FPSにとどまっています。実際には、処理が必要なのはごく小さいマスク領域のみであるにもかかわらずです。本論文では、効率的な微調整フレームワークであるYOSE（You Only Select Essential Tokens）を提案します。YOSEは2つの主要コンポーネントを導入します：Batch Variable-length Indexing（BVI）とDiffusion Process Simulator（DiffSim）モジュールです。BVIは、マスク情報に基づいて本質的なトークンを適応的に選択する、微分可能な動的インデクシング演算子であり、サンプル間で可変長のトークン処理を可能にします。DiffSimは、非マスクトークンに対する拡散過程の近似メカニズムを提供し、DiTの自己注意において非マスク領域が及ぼす影響をシミュレートすることで、マスクトークンの意味的一貫性を維持します。これらの設計により、YOSEはマスクを考慮した加速を実現し、推論時間はマスク領域の大きさに対して概ね線形にスケールします。一方で、計算が定数でありマスクサイズに依存しない、フルトークンの拡散手法とは対照的です。大規模な実験により、YOSEは視覚品質をベースラインと同等に保ちながら、70%のケースで最大2.5倍の速度向上を達成することが示されています。コードは以下で入手可能です：https://github.com/Wucy0519/YOSE-CVPR26。