DP-DeGauss: 主観視（エゴセントリック）4Dシーン再構成のための動的確率ガウス分解

arXiv cs.CV / 2026/4/10

📰 ニュースSignals & Early TrendsIdeas & Deep AnalysisModels & Research

共有:

要点

DP-DeGaussは、エゴセントリック（第一人称）4Dシーン再構成を目的とした、動的な確率的ガウス分解フレームワークとして提案されており、自己運動、遮蔽、手–物体相互作用といった課題に取り組む。
本手法は、COLMAPの事前情報から初期の統一的な3Dガウス集合を構築し、学習可能なカテゴリ確率を追加したうえで、ガウスを専門の変形ブランチへと振り分け、背景、手、物体をそれぞれ個別にモデル化する。
カテゴリ固有のマスクに加え、明るさとモーションフローの制御を用いることで、静的レンダリングと動的再構成の双方の品質を向上させる。
実験では、ベースラインに対して平均 +1.70dB のPSNR向上が報告されており、SSIMおよびLPIPSの改善も示される。
著者らは、背景/手/物体コンポーネントの分離について、初の取り組みかつ最先端の成果であると主張しており、より明示的できめ細かなシーン理解と、編集ワークフローへの可能性を可能にする。

Abstract

自己中心視（エゴセントリック）動画は、AR/VRおよび身体性のあるAI（embodied AI）への応用を伴う次世代の4Dシーン再構成にとって重要です。しかし、複雑なエゴ運動、遮蔽、そして手と物体の相互作用のために、動的な一人称シーンの再構成は困難です。既存の分解手法は、固定視点を前提とする、またはダイナミクスを単一の前景に統合するといった仮定のもとで設計されており、これらの課題に不向きです。これらの制限に対処するために、我々はエゴセントリック4D再構成のための動的確率的ガウス分解フレームワークであるDP-DeGaussを提案します。本手法は、COLMAPの事前知識から統一的な3Dガウス集合を初期化し、各ガウスに学習可能なカテゴリ確率を拡張して付加したうえで、背景、手、または物体モデリングのための特殊な変形ブランチへ動的にルーティングします。より良い分離のためにカテゴリ固有のマスクを用い、静的レンダリングと動的再構成を改善するための輝度およびモーションフロー制御も導入します。大規模な実験の結果、DP-DeGaussは平均でPSNRにおいて基準手法を+1.70dB上回り、SSIMとLPIPSでも向上します。さらに重要な点として、本フレームワークは背景、手、物体コンポーネントの分離について、初めての、かつ最先端の分離性能を達成します。これにより、明示的で微細な分離が可能となり、より直感的なエゴ・シーン理解と編集への道が開かれます。