要旨: ハイブリッドキャプチャの新しい視点合成は、カメラ距離が大きく異なる画像(例:空中ドローンと地上レベルの視点)を組み合わせます。標準的な3Dガウススプラッティング(3DGS)は、オプティマイザの各ステップで1つのレンダリング視点のみを用いて30Kイテレーション学習すると、5つのハイブリッドキャプチャのベンチマークにおいて、少数派レジーム側を1〜3dBだけアンダーフィットします。私たちは、このギャップを埋めるレバーを特定します。
計算量を一致させた代替案――素の60Kイテレーション、マグニチュード補正(GradNorm)、方向を考慮した近/遠勾配外科(near/far gradient surgery)、射影プリコンディショニング、信頼度に基づくサンプル単位の外科(confidence-gated sample-level surgery)、ランダムな2視点/ステップの制御――の中で、最も単純な構造的変更が勝利します。それは「オプティマイザの各ステップで2つの視点をレンダリングする」ことです。ペアリング規則(幾何学で定義された近/遠、ランダム、または能動的な損失不一致に基づく)を変えても、5つのシーンのいずれにおいてもPSNRはシードの分散を超えて変化しません。一方で、「各ステップで2視点を持つ」という構造的変更は変化をもたらします。
この知見を予測し、説明する分散分解の枠組みを提案します。二峰性のカメラレジームがある場合、レジーム間の勾配分散は3DGSにおけるレジーム内分散に比べて小さいことが分かります。そのため、構造化されたペアリングとランダムなペアリングは、期待値のもとでは分散が等価になります。そして、2視点の蓄積による分散の半減そのものが支配的な効果です。この枠組みを、カメラ高度の二峰性係数が[0.55, 1.00]の範囲に広がる5つのシーンで検証し、方向を考慮した射影、マグニチュード補正、信頼度ゲーティング、能動的な損失不一致に基づくペアリングは、ランダムな2視点ペアリングのシード分散の範囲内に収まるという負の結果を報告します。2視点という構造的レバーは、Scaffold-GSおよびPixel-GSのバックボーンへもきれいに転移します。
私たちは、本研究を、ハイブリッドキャプチャ3DGSにおいて、学習側のどの軸がPSNRを動かし、どの軸が動かさないのかを正直に特定するものとして位置づけます。さらに、その理由を説明する枠組みとともに提示します。




