拡散モデルは実は「ゼロショット3DGS調和器」だった

要旨: ガウス・スプラッティングは、新規な視点合成、シーン再構成、動的シーン描画など、さまざまな3Dコンピュータビジョン課題に対して人気のある手法となってきました。しかし、オブジェクトの外観がシーンにシームレスに一致するように自然に見えるオブジェクトの挿入という課題は、いまだ解決されていません。本研究では、D3DRと呼ぶ方法を提案します。これは、3DGSパラメータ化されたオブジェクトを3DGSシーンに挿入し、その照明、影、およびその他の視覚的アーティファクトを補正して、一貫性を確実にするものです。大規模な実世界データセットで学習した拡散モデルが、正しいシーン照明を暗黙に理解するという隠れた能力を明らかにし、それを本パイプラインで活用します。オブジェクトを挿入した後、拡散ベースのデルタ・デノイジング・スコア（DDS）に着想を得た目的関数を最適化し、適切な照明補正のためにその3Dガウスパラメータを調整します。さらに、オブジェクトの幾何形状とテクスチャを多様な照明条件にわたって保持する、新しい拡散パーソナライズ技術を導入し、それを用いて、元のオブジェクトと挿入されたオブジェクトの間で一貫したアイデンティティ一致を達成します。最後に、既存手法と比較することで本手法の有効性を示し、リライティング品質において2.0 dBのPSNR向上を達成します。