衛星シーン再構築のための高速かつ一般化可能なNeRFアーキテクチャ選択

要約: ニューラル放射場（NeRF）は、マルチビュー画像からのフォトリアルな3次元再構成の強力なアプローチとして登場しています。しかし、衛星画像にNeRFを適用することは依然として困難です。各シーンは個別のトレーニングを必要とし、ニューラルアーキテクチャ探索（NAS）によるアーキテクチャの最適化には数時間から数日のGPU時間を要します。既存のアプローチがアーキテクチャの改善に焦点を当てる一方で、我々のSHAP分析は、再構成品質を決定づけるのはモデルのアーキテクチャよりもマルチビューの一貫性であることを示しています。この洞察に基づき、学習前に軽量な幾何学的およびフォトメトリック記述子を用いてNeRFの品質を推定する予測フレーム워크PreSCANを開発します。PreSCANは< 30秒で適切なアーキテクチャを選択し、予測誤差を1 dB未満に抑え、NASに対して1000倍のスピードアップを実現します。さらに、エッジプラットフォーム（Jetson Orin）上でのPreSCANの展開有用性を実証し、予測とオフラインコストプロファイリングを組み合わせることで、推論電力を26%、遅延を43%低減し、品質の低下を最小限に抑えます。DFC2019データセットでの実験は、再訓練なしで多様な衛星シーンに対してPreSCANが一般化することを確認しています。