FurnSet：反復を活用した3Dシーン復元の手法

要旨: 単一ビューの3Dシーン復元では、物体の幾何と空間レイアウトの両方を推定することが求められます。既存の手法は一般に、物体を独立して復元するか、暗黙的なシーン文脈に依存しており、現実世界のシーンにしばしば見られる反復的な複数インスタンスを十分に活用できていません。私たちは、復元を改善するために反復する物体インスタンスを明示的に特定し、それを活用する枠組みであるFurnSetを提案します。本手法では、物体ごとのCLSトークンと、同一インスタンスをグループ化し、それらにまたがる補完的な観測を集約するセット対応の自己注意機構を導入し、共同復元を可能にします。さらに、物体復元を導くために、シーンレベルおよび物体レベルの条件付けを組み合わせ、続いて3Dおよび2Dの射影損失を持つ物体の点群を用いてレイアウト最適化を行い、シーンの整合性を合わせます。3D-Futureおよび3D-Frontでの実験では、シーン復元の品質が向上し、頑健な3Dシーン復元のために反復性を活用することの有効性が示されます。