3Dビジュアル幾何推定のための重要要因を解き明かす

Abstract

フィードフォワード型の視覚幾何推定は、近年めざましい進展を遂げています。しかし、重要なギャップが依然として残っています。すなわち、多フレームモデルは通常、フレーム間の一貫性をより良くしますが、単一フレームの精度に関しては、多くの場合強力な単一フレーム手法に劣ってしまいます。この観察は、厳密なアブレーション研究を通じてモデル性能を左右する重要な要因を体系的に調査する動機となります。その結果、いくつかの重要な洞察が得られました。1) データの多様性と品質をスケールアップすることで、最新の視覚幾何推定手法であっても、さらなる性能向上が可能になります。2) 一般に採用されている、信頼度を考慮した損失や勾配ベースの損失メカニズムは、意図せず性能を阻害する可能性があります。3) シーケンスごとの整合とフレームごとの整合の両方による共同監督は結果を改善しますが、局所領域の整合は驚くべきことに性能を低下させます。さらに、最適化ベース手法の利点と高解像度入力を統合するために、2つの改良を提案します。すなわち、深度マップ、カメラパラメータ、ポイントマップ間の整合を強制する整合損失関数、そして高解像度情報を活用する効率的なアーキテクチャ設計です。これらの設計を、フィードフォワード型の視覚幾何推定のための解像度強化モデルであるCARVEに統合します。点群再構成、ビデオ深度推定、カメラ姿勢／内在パラメータ推定に関する実験では、CARVEが多様なベンチマークにおいて強力で頑健な性能を達成することが示されています。