PointSplat：3D Gaussian Splatting に向けた、効率的なジオメトリ駆動のプルーニングとトランスフォーマーによる改良

要旨: 3D Gaussian Splatting（3DGS）は、明示的な3Dプリミティブを用いてシーンを表現することで、近年リアルタイムかつ高忠実度の新規視点合成を可能にしました。しかし従来の手法では、複雑なシーンを捉えるために数百万個のガウスが必要となることが多く、その結果としてメモリおよびストレージの要求が大きくなります。近年のアプローチは、ガウスのパラメータに対するプルーニングとシーンごとの微調整によってこの問題に対処し、視覚品質を維持しつつモデルサイズを縮小してきました。これらの戦略は一般に、重要度スコアを計算するために2D画像に依存し、その後にシーン固有の最適化を行うという流れに基づいています。本研究では、ガウスのプルーニングとトランスフォーマーによるリファインの、これまで分断されていた方向性をつなぐ、3Dジオメトリ駆動のプルーン＆リファインフレームワークであるPointSplatを提案します。本手法は2つの主要な構成要素を含みます：（1）3D属性のみに基づいてガウスをランク付けする、効率的なジオメトリ駆動戦略により、プルーニング段階で2D画像への依存を排除すること、そして（2）特徴量の不均衡を避けるために、幾何と外観を分離し、再重み付けするデュアルブランチ・エンコーダです。ScanNet++およびReplicaに対して、さまざまなスパース性レベルで実施した大規模な実験により、PointSplatは追加のシーンごとの最適化なしで一貫して競争力のあるレンダリング品質と優れた効率を達成することが示されています。