時間的アクション検出のためのSSMを備えた効率的な空間・時間フォーカルアダプタ

Abstract

時間的な人間の行動検出は、非トリミングの動画内における行動区間を特定し、局在化することを目的とする。これは、映像理解における重要なタスクである。CNNやTransformerモデルのような先行アーキテクチャによって得られた進歩にもかかわらず、これらは長い動画系列に適用した際に、特徴の冗長性や、グローバルな依存関係モデリング能力の低下に引き続き苦戦している。これらの制約は、実世界の動画解析におけるスケーラビリティを大きく制限する。状態空間モデル（State Space Models: SSM）は、線形の長期モデリングと、頑健なグローバルな時間的推論能力を備える有望な代替手段である。時間的モデリングにおけるSSMの適用を再考し、本研究では動画の人間行動検出のための新しい枠組みを構築する。具体的には、事前学習済みの層に、効率的な空間・時間フォーカル（Efficient Spatial-Temporal Focal: ESTF）アダプタを導入する。このモジュールは、時間的特徴モデリングのために提案するTemporal Boundary-aware SSM（TB-SSM）の利点と、空間特徴を効率的に処理するための利点を統合する。複数のベンチマークにわたって包括的かつ定量的な分析を行い、提案手法を先行のSSMベース手法や他の構造的手法と比較する。広範な実験により、改善された戦略が、局在化性能と頑健性の両方を大幅に向上させることが示され、提案手法の有効性が検証される。