要約:Human mesh recovery (HMR) は、単一カメラの動画から3D人体を復元するモデルであり、近年の研究はそれを世界座標系の人体軌道と動作再構成へ拡張しています。しかし、ほとんどの既存手法はオフラインのままで、未来フレームやグローバル最適化に依存しており、AR/VR やテレプレゼンスなどのインタラクティブなフィードバックや知覚-行動ループのシナリオでの適用性を制限します。これに対処するため、オンライン処理の4つの重要な基準(システムレベルの因果性、忠実性、時間的一貫性、効率性)を同時に満たす完全オンラインのフレームワーク OnlineHMR を提案します。2枝のアーキテクチャに基づく OnlineHMR は、因果的なキー-バリューキャッシュ設計と厳選されたスライディングウィンドウ学習戦略を通じてストリーミング推論を実現します。 一方、人間中心のインクリメンタル SLAM は、物理的に妥当な軌道補正の下でオンラインの世界座標系整合を提供します。実験結果は、提案手法が標準的な EMDB ベンチマークおよび高度にダイナミックなカスタム動画において、既存のチャンクベース手法と同等の性能を達成し、オンライン処理を独自にサポートすることを示しています。ページとコードは https://tsukasane.github.io/Video-OnlineHMR/ で公開されています。
OnlineHMRは、ビデオベースの人間メッシュ回復のための完全オンラインフレームワークであり、オンライン処理の4つの基本基準、システムレベルの因果性・忠実性・時間的一貫性・効率性を満たし、未来フレームに依存しない。
arXiv cs.CV / 2026/3/19
📰 ニュースModels & Research
要点
- ストリーミング推論を可能にするため、因果的なキー・バリューキャッシュと厳選されたスライディングウィンドウ学習戦略を備えた2ブランチアーキテクチャを採用している。
- 人間中心の増分的SLAMモジュールは、オンラインでの世界座標系への整合を提供し、物理的に妥当な軌跡の補正を可能にする。
- 実験では、EMDBおよびダイナミック動画に対して、既存のチャンクベースアプローチと競合する性能を示しつつ、AR/VRおよびテレプレゼンスのオンライン処理を独自に可能にしている。公式ページとコードが公開されている。