ニューラル・ガボール・スプラッティング：高周波サーフェス再構成のためのニューラル・ガボールによる拡張ガウス・スプラッティング

Abstract

近年、3D再構成と新規視点合成に対する強力なアプローチとして、3Dガウススプラッティング（3DGS）が急速に台頭してきました。そのガウス原始による明示的な表現により、高速な学習、リアルタイムレンダリング、編集やサーフェス再構成といった便利なポストプロセシングが可能になります。しかし、3DGSには致命的な欠点があります。高周波の外観ディテールを持つシーンでは、原始の数が劇的に増加してしまいます。これは、各原始が単一の色しか表現できず、鋭い色の遷移のたびに複数の原始が必要になるためです。この制約を克服するために、我々はニューラル・ガボール・スプラッティングを提案します。これは、各ガウス原始に対して軽量な多層パーセプトロンを追加し、単一の原始の中で幅広い色の変化をモデル化します。さらに原始数を制御するために、周波数エネルギーに基づいて剪定（pruning）およびクローン（cloning）対象となるミスマッチ原始を選択する、周波数を意識した密度増強戦略を導入します。我々の手法は、困難な高周波サーフェスの正確な再構成を達成します。Mip-NeRF360 や高周波データセット（例：チェッカーパターン）といった標準ベンチマークの両方に対して大規模な実験を行い、その有効性を示します。さらに、包括的なアブレーション研究によって検証します。