テスト時に事前知識（プライヤ）を用いた3D再構成の学習
arXiv cs.CV / 2026/4/7
💬 オピニオンSignals & Early TrendsIdeas & Deep AnalysisModels & Research
要点
- 本論文は、マルチビュー・トランスフォーマ（MVT）向けに、再学習や基盤となる画像のみのモデルの変更なしで、カメラ姿勢、内パラメータ（intrinsics）、深度などの利用可能な事前知識を用いることで3D再構成タスクを改善するテスト時最適化フレームワークを提案する。
- 事前知識をネットワークのアーキテクチャに注入するのではなく、事前知識を制約として扱い、推論時の最適化目的にペナルティ項を追加することで実現する。
- 最適化損失は、自己教師ありのマルチビュー整合性目的（ビュー間レンダリングによるフォトメトリック損失またはジオメトリ損失）と、関連する予測出力に対する事前知識に基づくペナルティ項を組み合わせる。
- ETH3D、7-Scenes、NRGBD を含むベンチマークでの実験（ポイントマップ推定やカメラ姿勢推定）では、ベースとなるMVTに比べて大幅な改善が示され、ポイントマップ距離誤差は半分以上に低減される。
- 本手法は、再学習した事前知識を考慮するフィードフォワード基準手法よりも優れており、3Dビジョンに事前知識を取り込む有効な方法として、テスト時制約付き最適化（TCO）を強調している。
