要旨: マルチカメラのダイナミック・拡張現実（AR）アプリケーションでは、共通のシステム内で各カメラから得られる個別の情報を活用するために、カメラ姿勢推定が必要となる。これは、複数の視点にまたがって、マーカーや物体といった文脈情報を組み合わせることで実現できる。一般に、カメラは初期段階で較正されるか、マーカーの継続的な使用によって更新される。しかし別の選択肢として、既知の物体のように、シーンにすでに存在する情報を活用することもできる。さらに、マーカーベースのトラッキングのもう一つの欠点は、マーカーをカメラの視野（FoV）内で追跡する必要がある点である。
これらの制約を克服するために、既知物体の時空間的なFoV重なりをオンザフライで活用した、常時（コンスタント）かつダイナミックなカメラ姿勢推定を提案する。そのために、最先端の物体姿勢推定器を拡張して時空間シーングラフを更新し、たとえFoVが重なっていないカメラ同士の間でも関係を可能にする。提案手法を評価するために、静的および動的なカメラを含む、時間的なFoV重なりを持つマルチカメラ・マルチ物体の姿勢推定データセットを導入する。さらに、FoVが重なる状況では、広く用いられているYCB-VおよびT-LESSデータセットにおいて、カメラ姿勢精度の面で最先端手法を上回る。これまでのデータセットおよび本提案のデータセットの双方に対する性能は、ARアプリケーションにおけるマーカーレス手法の有効性を裏付けている。
コードとデータセットは https://github.com/roth-hex-lab/IEEE-VR-2026-MultiCam で利用可能。
MultiCam：既知オブジェクトの時空間的重なりを用いたオンザフライなマルチカメラ姿勢推定
arXiv cs.CV / 2026/3/25
📰 ニュースSignals & Early TrendsIdeas & Deep AnalysisModels & Research
要点
- 本論文は、動的なマルチカメラAR向けのオンザフライなマルチカメラ姿勢推定手法として、連続して見え続けるマーカーに頼るのではなく、シーン内の既知オブジェクトを活用するMultiCamを提案する。
- 既存のオブジェクト姿勢推定器を拡張して時空間シーングラフを維持し、それによって各カメラの視野が重ならない場合でもカメラ間の関係を扱えるようにすることで、姿勢更新を一定（constant）に実現する。
- この手法は、マーカーベース追跡が抱える「各カメラの視野内にマーカーを維持する必要がある」という制約に対して明確に焦点を当てている。
- 著者らは、時間的な視野重なり（静的および動的なカメラ構成の両方をサポート）を備えた新しいマルチカメラ・マルチオブジェクトのデータセットを導入し、この手法を評価する。
- 実験により、重なりがある状況において、標準ベンチマーク（YCB-VおよびT-LESS）で、最先端手法に比べてカメラ姿勢精度が向上することが示され、マーカーレスARパイプラインの有効性が裏付けられる。
