SparseSplat：ピクセル未整合な予測に向けた、実用可能なフィードフォワード3Dガウススパッタリング

要旨: フィードフォワード型3Dガウススパッタリング（3DGS）における最近の進展は、描画品質を著しく向上させました。しかし、従来のフィードフォワード3DGS手法によって生成される、空間的に一様で高度に冗長な3DGSマップは、後段の再構成タスクへの統合を制限しています。そこで本研究では、SparseSplatを提案します。SparseSplatは、シーン構造および局所領域の情報の豊富さに応じてガウスの密度を適応的に調整する、初めてのフィードフォワード型3DGSモデルであり、高度にコンパクトな3DGSマップを実現します。これを達成するために、エントロピーに基づく確率的サンプリングを提案し、テクスチャのない領域では大きく疎なガウスを生成し、豊富な情報を含む領域には小さく密なガウスを割り当てます。さらに、一般的な3DGS最適化パイプラインとフィードフォワードモデルとの間で生じる受容野の不一致に対処するため、局所コンテキストを効率的に符号化し、それを3DGS属性へ復号する専用のポイントクラウドネットワークを設計しました。広範な実験結果により、SparseSplatはガウス数の22%のみで最先端の描画品質を達成でき、ガウス数の1.5%のみでも妥当な描画品質を維持できることを示します。プロジェクトページ: https://victkk.github.io/SparseSplat-page/