CEI-3D: 現実的で細粒度なオブジェクト編集のための協調的明示-暗黙3D再構成

要旨: 既存の3D編集手法は、再構成ネットワークの深く統合された性質のため、現実的で未熟な結果を生むことが多い。この課題に対処するため、本論文はCEI-3Dを導入します。CEI-3Dは、現実的で細粒度な編集を促進する編集指向の再構成パイプラインです。具体的には、ターゲットオブジェクトを暗黙的SDFネットワークと微分可能にサンプリングされた、局所的にコントロール可能なハンドラポイントのセットを用いて表現する協調的な明示-暗黙再構成アプローチを提案します。暗黙的ネットワークは滑らかで連続的なジオメトリの事前情報を提供し、明示的なハンドラポイントは局所的な制御を提供し、グローバルな3D構造とユーザー指定の局所編集領域との間の相互ガイダンスを可能にします。各ハンドラポイントの属性を独立して制御するために、ハンドラポイントの色を別々の物理特性にデカップリングする物理的特性分離モジュールを設計しました。さらに、このモジュールには編集済み領域と未編集領域を別々のブランチで処理するデュアル拡散アルベドネットワークを提案し、編集操作による望ましくない干渉を防ぎます。分離された特性を用いた再構築された協調的明示-暗黙表現に基づき、関連するハンドラポイントを部位ごとに調整可能な空間認識型編集モジュールを導入します。このモジュールは、クロスビュー伝播ベースの3Dセグメンテーション戦略を採用して、ターゲット部位の特定の物理属性を効率的に編集するのに役立つ。実世界および合成データセットの広範な実験は、提案手法が最新のSOTA手法よりも現実的で細粒度な編集結果を、より短い編集時間で達成することを示します。コードは https://github.com/shiyue001/CEI-3D に公開されています。