Diff3R：不確実性を考慮した微分可能最適化によるフィードフォワード3Dガウススパッタリング

arXiv cs.CV / 2026/4/2

📰 ニュースSignals & Early TrendsIdeas & Deep AnalysisModels & Research

共有:

要点

Diff3Rは、フィードフォワード3Dガウススパッタリングの予測と、テスト時の最適化を結び付ける枠組みを提案し、標準的なゼロショットの開始（ゼロ初期化）よりも優れた初期化を学習することで性能を高める。
本手法は、埋め込み型の微分可能3DGS最適化レイヤーを用いて学習し、暗黙の関数定理と行列を明示的に扱わないPCGソルバを利用することで、最適化ステップを通した逆伝播の計算コストを削減する。
不確実性を考慮した最適化メカニズムを追加し、制約が不十分な領域における過学習を抑え、入力の外れ値に対する頑健性を高めるために、パラメータ更新を適応的に制限する。
最適化レイヤーがモデルに依存しない（モデル非依存）ため、論文では、ポーズ与え型およびポーズなし型の既存のフィードフォワード3DGSアーキテクチャに統合して、テスト時最適化中の結果を改善できると主張している。

Abstract

3Dガウススパッティング（3DGS）における最近の進展には、大きく2つの方向性があります。フィードフォワードモデルは疎ビュー設定で高速な推論を可能にする一方、シーンごとの最適化は高品質なレンダリングを生み出せるものの計算コストが高くなります。両者の利点を組み合わせるために、本研究ではDiff3Rという新しい枠組みを提案します。これは、フィードフォワード予測とテスト時最適化の間を明示的に橋渡しするものです。学習ループに差分可能な3DGS最適化レイヤを直接組み込むことで、従来のゼロショット結果ではなく、テスト時最適化のための最適な初期化を予測するようにネットワークが学習します。最適化ステップを通じて逆伝播することによる計算コストを克服するために、Implicit Function Theorem（暗黙関数の定理）に基づいて勾配を計算し、さらに3DGS最適化向けに調整した、スケーラブルで行列を用いないPCGソルバを提案します。加えて、最適化過程にデータ駆動型の不確実性モデルを組み込み、最適化中にパラメータがどれだけ変化することを許されるかを適応的に制御します。このアプローチにより、制約が不十分な領域での過学習を効果的に緩和し、入力の外れ値に対する頑健性を高めます。提案する最適化レイヤはモデルに依存しないため、姿勢が与えられる手法および姿勢フリー手法の両方において、既存のフィードフォワード3DGSアーキテクチャにシームレスに統合でき、テスト時最適化の性能が向上することを示します。