Boxer: オープンワールド2Dバウンディングボックスの3Dへの頑健なリフティング

概要: 宇宙空間における物体の検出と局在化は、基本的なコンピュータビジョン問題である。2D物体検出を解決するために大きな進展がなされてきた一方で、3D物体局在化は、特にオープンワールドのカテゴリにおいて、はるかに未探索であり、未だ解決されていない。こうした研究課題に対処するため、我々はBoxerを提案する。Boxerは、2Dのオープン語彙物体検出、提示された画像、そして任意で深度を用いて、静的な3D境界ボックス（3DBB）を推定するアルゴリズムであり、深度は疎な点群として、または高密度な深度として表現できる。中心となるのはBoxerNetである。BoxerNetは、変換器（Transformer）ベースのネットワークで、2D境界ボックス（2DBB）提案を3Dへ持ち上げ（lift）た後、マルチビュー融合と幾何学的フィルタリングを行うことで、メートル法のワールド空間においてグローバルに一貫した重複排除済みの3DBBを生成する。Boxerは、既存の2DBB検出アルゴリズム（例: DETIC、OWLv2、SAM3）の力を活用して、2D上で物体を局在化する。これにより、主要なBoxerNetモデルは、検出ではなく3Dへの持ち上げ（lifting）に集中でき、最終的に、高コストな注釈付き3DBB学習データへの要求を低減できる。CuTRの定式化を拡張し、頑健な回帰のためのアレアトリック（aleatoric）不確実性を組み込み、疎な深度入力を支えるための中央値深度パッチ（median depth patch）エンコーディングを導入し、1,200,000超のユニークな3DBBによる大規模学習を行う。BoxerNetは、オープンワールド3DBB持ち上げにおいて最先端のベースラインを上回る。具体的には、密な深度がないエゴセントリック設定でCuTR（0.532 vs. 0.010 mAP）に対して優れ、密な深度が利用可能なCA-1Mでは（0.412 vs. 0.250 mAP）である。