GOR-IS：内在空間における3Dガウスによるオブジェクト除去

要旨: ニューラル放射輝度場（NeRF）および3Dガウススプラッティング（3DGS）の最近の進歩により、複数視点画像から3Dシーンを復元することは標準的な手法となっています。このような3D表現からオブジェクトを取り除くことは基礎的な編集タスクであり、遮蔽された領域を完全かつシームレスにインペイントし、幾何形状と見た目（外観）の一貫性を保証する必要があります。既存手法はインペイントの整合性を改善するうえで目覚ましい進展を遂げてきたものの、グローバルな照明の影響をしばしば無視してしまい、その結果、物理的にありえない出力につながることがあります。さらに、これらの手法は、見た目が視点によって変化する非ランバート面（view-dependent non-Lambertian surfaces）に対しても苦手であり、信頼性の高いインペイントができません。本論文では、固有空間における3Dガウスオブジェクト除去（3D Gaussian Object Removal in the Intrinsic Space: GOR-IS）を提案します。これは、物理的に一貫し、かつ視覚的に整合した3Dオブジェクト除去のための新しい枠組みです。提案手法はシーンを固有成分に分解し、グローバルな照明効果の整合性を維持するために光輸送を明示的にモデル化します。さらに、固有空間インペイントモジュールを導入し、マテリアルおよび照明の領域に直接作用することで、非ランバート面がもたらす課題に効果的に対処します。合成データセットおよび実世界データセットの双方に対する大規模な実験により、提案枠組みがオブジェクト除去の物理的整合性と視覚的な一貫性を大幅に改善し、既存手法を知覚的類似度（LPIPS）で13%上回り、ピーク信号対雑音比（PSNR）で2dB上回ることを示します。コードは以下で公開されています: https://applezyh.github.io/GOR-IS-project-page/