U$^{2}$Flow: Uncertainty-Aware Unsupervised Optical Flow Estimation

arXiv cs.CV / 4/14/2026

📰 NewsIdeas & Deep AnalysisModels & Research

Key Points

  • U$^{2}$Flow は、教師なし光学フロー推定に「各ピクセルの不確実性推定」を同時に組み込む初の再帰型フレームワークとして提案されています。
  • 学習では地上真値なしで不確実性を監督するために、データ拡張の一貫性から Laplace ベースの最大尤度目的で不確実性スーパー ビジョンを生成し、安定した学習を可能にしています。
  • 推定された不確実性はネットワーク内に入力され、適応的なフロー精緻化や、地域ごとのスムーズネス損失の動的な調整に利用されます。
  • さらに、不確実性に基づく双方向フロー融合により、困難領域での頑健性を高め、KITTI と Sintel で教師なし手法の SOTA と信頼性の高い不確実性マップを示したと報告されています。
  • コードは公開されており、研究者・実装者が再現や応用を進められる形になっています。

Abstract

Unsupervised optical flow methods typically lack reliable uncertainty estimation, limiting their robustness and interpretability. We propose U^{2}Flow, the first recurrent unsupervised framework that jointly estimates optical flow and per-pixel uncertainty. The core innovation is a decoupled learning strategy that derives uncertainty supervision from augmentation consistency via a Laplace-based maximum likelihood objective, enabling stable training without ground truth. The predicted uncertainty is further integrated into the network to guide adaptive flow refinement and dynamically modulate the regional smoothness loss. Furthermore, we introduce an uncertainty-guided bidirectional flow fusion mechanism that enhances robustness in challenging regions. Extensive experiments on KITTI and Sintel demonstrate that U^{2}Flow achieves state-of-the-art performance among unsupervised methods while producing highly reliable uncertainty maps, validating the effectiveness of our joint estimation paradigm. The code is available at https://github.com/sunzunyi/U2FLOW.