ヒューリスティックを超えて:3Dガウススプラッティングのための学習可能な密度制御

arXiv cs.CV / 2026/5/4

📰 ニュースDeveloper Stack & InfrastructureIdeas & Deep AnalysisModels & Research

要点

  • 本論文は、3Dガウススプラッティングの性能が、柔軟に多様で複雑なシーンへ適応できないヒューリスティック(手作り)による密度制御ルールにより制約されていると指摘しています。
  • その解決として、LeGSという枠組みを提案し、密度制御を固定のヒューリスティックではなく強化学習で学習する学習可能なポリシーネットワークとして定式化しています。
  • LeGSは、センシティビティ解析に基づく報酬関数を用いて、各ガウスが再構成品質に与える限界的な寄与を定量化します。
  • 報酬計算の計算量を抑えるため、著者らは報酬計算をO(N^2)からO(N)へ削減する閉形式の解を導出しています。
  • Mip-NeRF 360、Tanks & Temples、Deep Blendingでの実験により、LeGSは先行手法を上回り、再構成品質と効率のトレードオフを改善できることが示され、コードは公開予定です。

Abstract

3Dガウシアン・スプラッティング(3DGS)は印象的なリアルタイム描画性能を示している一方で、その有効性はヒューリスティック(経験則)に基づく密度制御への依存によって制約されています。これまで多数の改良がこれらの手作りルールに対して行われてきたにもかかわらず、そのような手法は本質的に複雑な幾何を含む多様なシーンへ適応する柔軟性を欠いています。 本論文では、密度制御を硬直したヒューリスティックから完全に学習可能なポリシーへと転換する新しいパラダイムを提案します。具体的には、Reinforcement Learning(RL:強化学習)によって最適化されるパラメータ化ポリシーネットワークとして密度制御を再定式化する枠組みである\textbf{LeGS}を導入します。私たちのアプローチの中心となるのは、感度分析に基づいて設計した効果的な報酬関数であり、個々のガウシアンが再構成品質に与える限界的寄与を正確に定量化します。計算可能性を維持するために、報酬計算の複雑さをO(N^2)からO(N)へと削減する閉形式の解を導出します。Mip-NeRF 360、Tanks \& Temples、Deep Blendingの各データセットに対する大規模な実験により、\textbf{LeGS}が最先端手法を大幅に上回り、再構成品質と効率の間で優れたバランスを達成することが示されます。コードはhttps://github.com/AaronNZH/LeGSで公開予定です