LightHarmony3D：3Dガウススプラッティングにおける物体挿入のための照明と影の調和

arXiv cs.CV / 2026/4/1

💬 オピニオンSignals & Early TrendsIdeas & Deep AnalysisModels & Research

共有:

要点

本論文では、外部メッシュ物体を3Dガウススプラッティング（3DGS）シーンへ物理的に整合した照明と影のもとで挿入するためのフレームワーク「LightHarmony3D」を提案する。
LightHarmony3Dは生成モジュールを用いて、挿入点から単一のフォワードパスで全方位360°のHDR環境マップを予測し、高コストな反復的な照明推定を回避する。
本手法は、視点が変化しても破綻しない、整合的なシェーディング／シャドウイングを可能にすることで、多視点レンダリングの一貫性を維持することを目的としている。
著者らはまた、3DGSにおけるメッシュ挿入に特化した最初のベンチマークも提案し、照明の一貫性とフォоторリアリズムを標準化して評価できるようにする。
複数の実世界の再構成データセットに対する実験では、先行手法と比較して、最先端の写実性と多視点の一貫性が報告されている。

Abstract

3D Gaussian Splatting（3DGS）は、シーンの幾何形状と見た目の高忠実度な再構成を可能にします。この能力を基に、再構成された3DGSシーンへ外部メッシュオブジェクトを挿入することで、AR/VR、バーチャル・ステージング、デジタルコンテンツ制作といった没入型アプリケーションに向けたインタラクティブな編集やコンテンツ拡張が実現できます。しかし、メッシュ挿入のための物理的に整合した照明と影を実現することは依然として困難です。これは、正確なシーン照明推定と、マルチビューで整合したレンダリングが必要となるためです。この課題に対し、我々は3DGSシーンにおける照明整合メッシュ挿入のための新しいフレームワークであるLightHarmony3Dを提案します。提案手法の中核は、単一の順伝播パスによって、挿入位置における完全な360{\deg}のHDR環境マップを予測する生成モジュールです。反復的な最適化ではなく生成的な事前知識を活用することで、本手法は主要なシーン照明を効率的に捉え、マルチビューの整合性を維持しながら、挿入メッシュに対して物理に基づくシェーディングと影を可能にします。さらに、3DGSにおけるメッシュ挿入のための最初の専用ベンチマークを導入し、照明の整合性とフォトリアリズムを評価するための標準化された評価枠組みを提供します。複数の実世界の再構成データセットにまたがる大規模な実験により、LightHarmony3Dが最先端の写実性とマルチビュー一貫性を達成することを示します。