PCSTracker: 点群シーケンスの長期シーンフロー推定

要旨: ポイントクラウドのシーンフロー推定は、長期的で細粒度な3D運動解析の基礎となる。 しかし、既存の手法は通常、対の設定に限定され、ジオメトリが進化し、遮蔽が現れ、誤差が蓄積する長いシーケンス全体で時系列的一貫性を維持するのが難しい。本研究では、点群シーケンスにおける一貫したシーンフロー推定のために特化して設計された初のエンドツーエンドフレームワークであるPCSTrackerを提案します。 具体的には、動的ジオメトリ変化によって生じる対応不整合を緩和するため、点特徴の時間的進化を明示的にモデリングする反復的ジオメトリ運動ジョイント最適化モジュール（IGMO）を導入します。 さらに、遮蔽点の妥当な位置を推定するために広範な時間的文脈を活用して点軌跡を更新する時空間的点軌道更新モジュール（STTU）を提案し、一貫した運動推定を保証します。 長いシーケンスをさらに扱うために、ウィンドウ間伝搬とウィンドウ内微調整を交互に行うオーバーラッピングスライディングウィンドウ推論戦略を採用し、誤差蓄積を効果的に抑制し、長期の運動一貫性を安定して維持します。 合成データセットPointOdyssey3Dと実世界データセットADT3Dでの広範な実験の結果、PCSTrackerは長期的なシーンフロー推定において最高の精度を達成し、32.5 FPSのリアルタイム性能を維持するとともに、RGB-Dベースのアプローチと比較して卓越した3D運動理解を示します。