SparseSplat: Towards Applicable Feed-Forward 3D Gaussian Splatting with Pixel-Unaligned Prediction

arXiv cs.CV / 4/6/2026

📰 NewsSignals & Early TrendsIdeas & Deep AnalysisModels & Research

共有:

Key Points

SparseSplatは、既存のフィードフォワード3D Gaussian Splattingが作る空間的に一様で冗長なGaussianマップを、シーン構造に応じて密度調整してよりコンパクトにすることを目指す新手法です。
エントロピーに基づく確率的サンプリングを導入し、テクスチャの乏しい領域では大きく疎なGaussian、情報量の多い領域では小さく密なGaussianを割り当てます。
フィードフォワードモデル側の受容野と、一般的な3DGS最適化パイプラインの受容野のミスマッチを埋めるため、ローカルコンテキストを効率的にエンコードして3DGS属性へデコードする専用ポイントクラウドネットワークを設計しています。
実験では、SparseSplatがGaussiansの22%でSOTAレンダリング品質を達成し、Gaussiansの1.5%でも実用的な品質を維持できることを示しています。

Abstract

Recent progress in feed-forward 3D Gaussian Splatting (3DGS) has notably improved rendering quality. However, the spatially uniform and highly redundant 3DGS map generated by previous feed-forward 3DGS methods limits their integration into downstream reconstruction tasks. We propose SparseSplat, the first feed-forward 3DGS model that adaptively adjusts Gaussian density according to scene structure and information richness of local regions, yielding highly compact 3DGS maps. To achieve this, we propose entropy-based probabilistic sampling, generating large, sparse Gaussians in textureless areas and assigning small, dense Gaussians to regions with rich information. Additionally, we designed a specialized point cloud network that efficiently encodes local context and decodes it into 3DGS attributes, addressing the receptive field mismatch between the general 3DGS optimization pipeline and feed-forward models. Extensive experimental results demonstrate that SparseSplat can achieve state-of-the-art rendering quality with only 22% of the Gaussians and maintain reasonable rendering quality with only 1.5% of the Gaussians. Project page: https://victkk.github.io/SparseSplat-page/.