ストリーミング3D再構成のための幾何学的コンテキスト・トランスフォーマ

要旨: ストリーミング3D再構成は、カメラの姿勢や点群などの3D情報を動画ストリームから復元することを目的としており、そのためには、幾何学的な正確さ、時間的な整合性、および計算効率が必要となる。Simultaneous Localization and Mapping（SLAM）の原理に触発されて、私たちは、幾何学的コンテキスト変換器（GCT）アーキテクチャに基づく、ストリーミングデータからシーンを再構成するためのフィードフォワード型3D基盤モデルであるLingBot-Mapを提案する。LingBot-Mapの決定的な特徴は、慎重に設計された注意（アテンション）機構にある。この機構は、座標の基準付け、密な幾何学的手がかり、そして長距離のドリフト補正をそれぞれ扱うために、アンカーコンテキスト、ポーズ参照ウィンドウ、ならびに軌跡メモリを統合する。これにより、ストリーミング状態をコンパクトに保ちつつ、豊かな幾何学的コンテキストを維持できる。その結果、10,000フレームを超える長いシーケンスにわたって、518×378解像度の入力に対し約20 FPSの安定した効率的推論が可能となる。さまざまなベンチマークに対する大規模な評価の結果、提案手法は、既存のストリーミング手法および反復最適化ベースの手法のいずれとも比較して優れた性能を達成することが示された。