SkipGS: 効率的な3DGSトレーニングのためのポスト密度化におけるバックワードスキップ

Abstract

3Dガウシアンスプラッティング（3DGS）は、何百万もの異方性ガウス分布を最適化することでリアルタイムの新規視点合成を実現するが、そのトレーニングは依然として高コストであり、特にポスト密度化リファインメントフェーズにおいてバックワードパスが実行時間の大部分を占めている。我々はこのフェーズにおける更新の冗長性が大きいことを観察した。多くのサンプルビューは損失がほぼ飽和状態にあり、勾配の効果が薄いにもかかわらず、標準のトレーニングでは完全なバックプロパゲーションを実行し続けている。そこで我々は、効率的なポスト密度化トレーニングのための新たなビュー適応型バックワードゲーティング機構を備えたSkipGSを提案する。SkipGSは常にフォワードパスを実行してビューごとの損失統計を更新し、サンプルされたビューの損失が直近のビューごとの基準値と一致している場合にバックワードパスを選択的にスキップする一方で、安定的な最適化のために最小限のバックワード計算予算を課す。Mip-NeRF 360での評価において、3DGSと比較すると、SkipGSはエンドツーエンドのトレーニング時間を23.1％削減し、ポスト密度化時間は42.0％短縮しながら、同等の再構成品質を達成した。レンダラー、表現、損失を変更せずにバックプロパゲーションのタイミングのみを変えるため、SkipGSはプラグアンドプレイ方式であり、他の補完的な効率化戦略とも組み合わせ可能で追加の高速化が期待できる。