Micro-DualNet:デュアルパスの時空間ネットワークによるマイクロアクション認識

arXiv cs.CV / 2026/4/24

📰 ニュースIdeas & Deep AnalysisModels & Research

要点

  • 本論文は「マイクロアクション」(1〜3秒程度の微細な動き)を扱い、動作の特徴が空間構造として現れる場合と時間ダイナミクスとして現れる場合の両方があるため、既存手法では対応が難しいと指摘しています。
  • Micro-DualNetは、人の体の部位に基づいた実体(entity)を入力として、Spatial→Temporal(ST)経路とTemporal→Spatial(TS)経路の2つの補完的なルートで処理するデュアルパス時空間ネットワークを提案します。
  • 固定の融合ではなく、実体レベルの適応的ルーティングにより、各部位が空間手がかりと時間手がかりのどちらを優先すべきかを学習します。
  • さらに、2つの経路間の表現の一貫性を高めるために、Mutual Action Consistency(MAC)損失を導入しています。
  • 実験ではMA-52で競争力のある性能、iMiGUEで新たな最先端性能が示され、微細な動画理解には動作の複雑さに合わせたアーキテクチャ適応が重要であることを裏付けています。