目のない見え方：ウェアラブルIMUによる4D 人体・シーン理解
arXiv cs.CV / 2026/4/24
📰 ニュースDeveloper Stack & InfrastructureIdeas & Deep AnalysisModels & Research
要点
- 本論文は「視覚なしの4D知覚」を提案し、カメラではなくウェアラブル慣性センサで人体の動きと3Dシーンのレイアウトを再構成することを目指す。
- IMU-to-4Dという枠組みを導入し、大規模言語モデルを非視覚の時空間理解に転用して、人とシーンのダイナミクスを扱う。
- 耳のイヤホン、時計、スマートフォンなどの日常的なIMUを少数デバイスから取得し、詳細な4D人体運動と粗い3Dシーン構造を予測する。
- 複数の人体・シーンデータセットでの実験では、最先端のカスケード型パイプラインよりも、時間的に安定で整合的な結果が得られることが示された。
- 総じて、視覚システムの課題（プライバシーやエネルギー効率など）を回避しつつ、運動センサだけでより豊かな4D理解が可能になり得ることを示唆している。
