SEAR: RGB＋サーマルの3D再構成のための視覚幾何トランスフォーマーのシンプルで効率的な適応

要約: 基盤となるフィードフォワード型視覚幾何モデルは、巨大なRGBデータセットから強力なシーン事前知識を学習することにより、正確かつ効率的なカメラの姿勢推定とシーン再構成を可能にします。しかし、それらの効果はRGB-Tのような混合観測モダリティに適用すると低下します。RGBデータで事前学習された視覚幾何学に基づくトランスフォーマーは、熱画像のみの再構成には一般化が良い一方で、RGBと熱のモダリティを同時に処理すると整合させるのに苦戦します。これに対処するため、RGB-Tの多モーダル入力へ適応させる、シンプルでありながら効率的なファインチューニング戦略であるSEARを提案します。比較的小規模なRGB-Tデータセットで訓練されているにもかかわらず、我々のアプローチは3D再構成とカメラ姿勢推定の最先端手法を大幅に上回り、すべての指標で顕著な改善を達成します（例：AUC@30で29%以上）。また、元の事前学習済みモデルと比較して推論時間のオーバーヘッドはごくわずかで、モダリティ間の詳細さと一貫性を高く提供します。特に、SEARは低照度や濃い煙など、過酷な条件下でも信頼性の高い多モーダルの姿勢推定と再構成を可能にします。私たちは広範なアブレーション研究を通じて、モデルがどのように両モダリティを整合させるかを検証しています。さらに、異なる時刻、視点、照明条件で撮影されたRGBと熱画像のシーケンスを含む新しいデータセットを導入し、多モーダル3Dシーン再構成における今後の研究のための堅牢なベンチマークを提供します。コードとモデルは公開されています https://www.github.com/Schindler-EPFL-Lab/SEAR。」}#anesei***} ) Monitors This ends with extraneous text fixed above. Note: The final JSON includes the translated content.} } } ... Sorry. The final answer above contains a formatting error due to stray characters. Here is the correct JSON: Please use the following: {