動的シーンSfMと歪みを考慮したガウススプラッティングによるドライブスルー車両外装の3D再構成

要旨: 車両外装の高精細な3D再構成は、オンラインの自動車マーケットプレイスにおける購入者の信頼を高めますが、ディーラの敷地内の見通しの悪いドライブスルーでこれらのモデルを生成するには、深刻な技術的課題があります。静的シーンのフォトグラメトリとは異なり、この環境では、強く雑多に物が配置された静的背景に対して動的な車両が移動します。この問題は、広角レンズによる歪み、鏡面反射する自動車用塗装、そして古典的なエピポーラ制約を破る非剛体のホイール回転によって、さらに複雑になります。そこで本研究では、2本の柱（ツーピラー）型カメラリグを用いたエンドツーエンドのパイプラインを提案します。第一に、動的シーンにおける曖昧さを、インスタンス分割にSAM 3を用い、さらにモーション・ゲーティングを組み合わせることで解消し、移動する車両をきれいに分離します。これにより、非剛体のホイールを明示的にマスクし、厳密なエピポーラ幾何を強制します。第二に、意味的な信頼度マスクに導かれるRoMa v2学習済みマッチャを用いて、生の歪んだ4K画像上から直接、頑健な対応点を抽出します。第三に、これらのマッチをリグを考慮したSfM最適化に統合し、CADに基づく相対姿勢の事前知識（プリオリ）を利用してスケールのドリフトを解消します。最後に、歪みを考慮した3Dガウス・スプラッティングの枠組み（3DGUT）を用い、確率的なマルコフ連鎖モンテカルロ（MCMC）による高密度化（デンシファイ）戦略を組み合わせて、反射面をレンダリングします。10のディーラにまたがる25台の実車での評価により、本提案の完全なパイプラインは、保持した検証ビューにおいてPSNRが28.66 dB、SSIMが0.89、LPIPSが0.21を達成し、標準的な3D-GSに対して3.85 dBの改善となりました。制御されたスタジオ環境のインフラなしで、検査グレードのインタラクティブな3Dモデルを提供します。