MASS：エゴセントリック単眼動画からの手の再構成とレンダリングのための、メッシュ・イン楕円体アラインドな変形可能サーフェル・スプラッティング

arXiv cs.CV / 2026/4/13

💬 オピニオンSignals & Early TrendsIdeas & Deep AnalysisModels & Research

共有:

要点

本論文は、幾何学的な取得の難しさ、遮蔽／手と物体の相互作用、複雑なシーン内容といった課題があるにもかかわらず、エゴセントリックな単眼動画から高精細な3D手を再構成するための手法MASS（Mesh-inellipse Aligned deformable Surfel Splatting）を提案する。
MASSは、メッシュに整列したSteiner楕円体（Steiner Inellipse）とフラクタルな高密度化（fractal densification）によって、粗いパラメトリック手メッシュから初期化された、変形可能な2Dガウス・サーフェル表現で手の表面を表す。これによりフォトリアルなレンダリングが可能になることを目指す。
ガウス・サーフェル変形（Gaussian Surfel Deformation）を導入し、手の変形と個人に固有な見た目をモデル化する。サーフェル属性に対する残差更新（residual updates）を予測し、適応的な密度制御を用いずに、不透明度マスク（opacity mask）によって幾何／テクスチャを精錬する。
最適化の頑健性と再構成品質を高めるために、2段階の学習戦略と新規なバインディング損失（binding loss）を用いる。
ARCTIC、Hand Appearance、Interhand2.6Mのデータセットでの実験により、MASSが再構成品質において最先端手法を上回ることを示す。

要旨: 自分の視点（egocentric）の単眼動画から高精細な3Dハンドを復元することは、高解像度のジオメトリの取得、ハンドと物体の相互作用、そして手上の複雑な対象の扱いに制約があるため、依然として困難です。加えて、既存の手法は計算コストが高くなることが多く、リアルタイム用途では実用的ではありません。本研究では、変形可能な2Dガウス・サーフェル（Surfel）表現を活用することで、これらの課題に対処するための Mesh-inellipse Aligned deformable Surfel Splatting（MASS）を提案します。メッシュからサーフェルへの変換のために、メッシュ整合 Steiner 楕円内接線（Steiner Inellipse）とフラクタル密度増強（fractal densification）を導入し、粗いパラメトリックなハンドメッシュから高解像度の2Dガウス・サーフェルを生成することで、フォトリアルなレンダリングの可能性を持つ表面表現を実現します。さらに、Gaussian Surfel Deformation を提案し、サーフェル属性に対する残差更新を予測することで、効率的にハンドの変形と個人化された特徴をモデリングできるようにします。また、幾何とテクスチャを、適応的な密度制御を行わずに洗練するための不透明度マスク（opacity mask）を導入します。加えて、最適化の頑健性と復元品質を高めるための二段階学習戦略と、新規のバインディング（binding）損失を提案します。ARCTICデータセット、Hand Appearanceデータセット、Interhand2.6Mデータセットに関する大規模な実験により、本モデルが最先端手法に比べて優れた復元性能を達成することが示されています。