ReLi3D: 分離照明を用いた再照明可能なマルチビュー3D再構成

概要: 画像から3D資産を再構成するには長い間、ジオメトリ再構成、マテリアル推定、照明回復のそれぞれに別個のパイプラインが必要で、固有の制約と計算オーバーヘッドを伴ってきました。
私たちは ReLi3D を提示します。これは、スパースなマルチビュー画像から、完全な3Dジオメトリ、空間的に変化する物理ベース材料、および環境照明を同時に再構成する、初の統合エンドツーエンドパイプラインであり、1秒未満で実現します。
私たちの核心的洞察は、多視点拘束が材料と照明の分離を劇的に改善できるという点であり、これは単一画像手法にとって本質的に解が定まらない問題のままです。
本手法の鍵は、多視点入力をトランスフォーマーのクロスコンディショニングアーキテクチャを用いて融合し、それに続く新規な統合型の二路予測戦略です。
第1経路は物体の構造と外観を予測します。一方、第2経路は画像背景や物体の反射から環境照明を予測します。
これに、微分可能なモンテカルロ多重重要サンプリングレンダラーを組み合わせることで、最適な照明分離トレーニングパイプラインが生まれます。
さらに、合成PBRデータセットと実世界のRGBキャプチャを組み合わせた混合ドメイン学習プロトコルにより、ジオメトリ、マテリアルの精度、照明品質の一般化可能な結果を確立します。
以前は別々だった再構成タスクを単一のフィードフォワードパスに統合することにより、完全で再照明可能な3D資産をほぼ瞬時に生成できるようになります。
プロジェクトページ: https://reli3d.jdihlmann.com/