LaDy：骨格ベースの行動区間推定のための空間-時間モジュレーションに基づくラグランジアン-ダイナミック・インフォームド・ネットワーク
arXiv cs.CV / 2026/3/26
📰 ニュースSignals & Early TrendsIdeas & Deep AnalysisModels & Research
要点
- 本論文では、運動学のみを頼りにせず人の動作ダイナミクスを取り入れることで、骨格ベースの時系列行動区間推定（Temporal Action Segmentation）を改善するための LaDy（Lagrangian-Dynamic Informed Network）を提案する。
- LaDy は関節位置から一般化座標を導出し、物理的制約のもとでラグランジアン項を推定することで、一般化力を明示的に合成する。
- エネルギー整合性ロス（Energy Consistency Loss）を用いて仕事-エネルギーの定理を強制し、運動エネルギーの変化を正味の力によってなされた仕事と整合させることで、物理的な一貫性を維持する。
- 学習したダイナミクスは Spatio-Temporal Modulation モジュールに注入され、一般化力と空間特徴を組み合わせるとともに、動的信号を用いて時間方向のゲーティングを行うことで、行動境界の局在化をより良くする。
- 難易度の高いデータセットでの実験により最先端性能が報告されており、著者らは GitHub でコードを提供している。
