ArtHOI：基礎モデルを制御して単眼RGBからの手指関節付きオブジェクト相互作用のモノクロ4D再構成を実現する
arXiv cs.CV / 2026/3/30
💬 オピニオンSignals & Early TrendsModels & Research
要点
- 本論文は、単一のモノクロRGBビデオから4Dの「人の手」と「関節を持つ物体」との相互作用を再構成するという課題に取り組む。従来手法では、剛体の物体を前提とするか、事前スキャンや多視点データに依存することが多い。
- 複数の基礎モデルから得られる事前知識を統合し、洗練させることで、それらの事前知識に含まれる不正確さや物理的に不自然な点を克服する、最適化ベースの枠組みArtHOIを提案する。
- 手法には、正規化された物体メッシュをワールド座標系に実際に配置（grounding）するために、メートルスケールと姿勢を最適化する Adaptive Sampling Refinement（ASR）が含まれる。
- さらに、接触（contact）の推論を制約として用い、手–物体メッシュの合成最適化中に活用する、MLLMに導かれた手–物体アライメント手法も提案する。
- 本研究では2つのデータセット（ArtHOI-RGBD、ArtHOI-Wild）を構築し、さまざまな対象物と相互作用タイプに対して頑健であることを実験により示す。
