SpectralSplats：スペクトルモーメントによる監督で実現する堅牢な微分可能トラッキング

要旨: 3Dガウス・スプラッティング（3DGS）は、リアルタイムでフォトリアルなノベルビュー合成を可能にし、モデルベースの動画トラッキングに対して非常に魅力的な表現手法となっています。しかし、「野外」において3DGSレンダラの微分可能性を活用することは、依然として非常に脆弱であることで有名です。根本的なボトルネックは、ガウスのプリミティブがコンパクトで局所的な支持を持つ点にあります。標準的なフォトメトリックな目的関数は暗黙的に空間的な重なりに依存しています。もし重大なカメラの位置ずれによって、レンダリングされた物体がターゲットの局所的なフットプリントから外れてしまうと、勾配は厳密に消失し、オプティマイザは行き場を失います。私たちは、こうした「消失勾配」問題を解決する頑健なトラッキングフレームワークであるSpectralSplatsを提案します。この手法は、最適化の目的を空間領域から周波数領域へとシフトすることで、この問題に対処します。レンダリング画像を、グローバルな複素正弦波特徴の集合（Spectral Moments）によって監督（スーパービジョン）することで、全画像領域にわたって、画素の重なりが完全に存在しない場合でも、ターゲットへ向かう妥当で方向性のある勾配が常に存在するような、グローバルな選好領域（basin of attraction）を構築します。高周波に起因する周期的な局所ミニマムを新たに導入することなく、このグローバルな選好領域を活用するために、原理から導出した周波数アニーリングのスケジュールを設計し、オプティマイザをグローバルな凸性から精密な空間整合へと、巧みに移行させます。SpectralSplatsは、変形パラメータ化の多様な形（MLPから疎な制御点まで）に対して、空間損失のシームレスな「そのまま置き換え（drop-in replacement）」として機能し、標準的な外観ベースのトラッキングが壊滅的に失敗するほど深刻に位置ずれした初期化からでも複雑な変形を確実に回復できることを実証します。