PoseFM：Flow Matchingによる相対カメラ姿勢推定

Abstract

単眼視覚オドメトリ（VO）は、自律航法、拡張現実（AR）などへの応用を持つ、基本的なコンピュータビジョン問題です。近年、深層学習ベースの手法は、手作りの特徴が構造の乏しさや照明条件の悪さによってうまく機能しない環境において、従来の幾何学的パイプラインに比べて優れた精度を示してきました。しかし、これらの多くは決定論的回帰に依存しており、頑健なアプリケーションに必要とされる不確実性への認識が欠けています。我々は、Flow Matching（FM）を用いて単眼のフレーム間VOを生成タスクとして再定式化する、最初のフレームワークであるPoseFMを提案します。FMを活用することで、カメラ運動を点推定ではなく分布としてモデル化し、連続時間ODEによってノイズを現実的な姿勢予測へと変換することを学習します。このアプローチは、不確実性推定のための原理的な仕組みを提供し、困難な視覚条件下でも頑健な運動推定を可能にします。評価の結果、PoseFMはTartanAir、KITTI、TUM-RGBDのベンチマークで強い性能を達成し、いくつかの軌跡において最も低い絶対軌跡誤差（ATE）を記録しました。また、全体として、最良のフレーム間単眼VO手法群と競争力のある性能を示しました。コードおよびモデルのチェックポイントは https://github.com/helsinki-sda-group/posefm で公開されます。