Mobile-GS: モバイルデバイス向けリアルタイムガウシアン・スプラッティング

3D Gaussian Splatting (3DGS) は、幅広いアプリケーションで高品質なレンダリングを実現する強力な表現として出現しました。しかし、その高い計算コストと大きなストレージコストは、モバイルデバイスへの展開に重大な課題をもたらします。本研究では、モバイル向けのリアルタイムガウシアンスプラッティング手法、Mobile-GSを提案します。具体的には、まずアルファブレンディングが主要な計算ボトルネックであると特定します。これは、時間のかかるガウシアン深度ソーティングプロセスに依存しているためです。これを解決するため、深度を考慮した順序非依存レンダリングスキームを提案し、ソーティングの必要性を排除してレンダリングを大幅に高速化します。この順序非依存レンダリングはレンダリング速度を向上させますが、レンダリング順序の不足により、重なるジオメトリ領域で透明アーティファクトが生じる可能性があります。この問題に対処するため、視線方向、3Dガウシアンジオメトリ、および外観属性に基づく視点依存効果をより正確にモデル化するニューラル視点依存強化戦略を提案します。これにより、Mobile-GS は高品質かつリアルタイムのレンダリングを達成できます。さらに、メモリ制約のあるモバイルプラットフォームでの展開を促進するため、一次球面調和関数蒸留、ニューラルベクトル量子化技術、貢献度ベースのプルーニング戦略を導入し、ニューラルネットワークの協力を得てガウシアンプリミティブの数を削減し、3Dガウシアン表現を圧縮します。広範な実験により、提案する Mobile-GS がリアルタイムレンダリングとコンパクトなモデルサイズを実現しつつ高い視覚品質を維持できることが示され、モバイルアプリケーションに適していることが確認されました。