要旨: 外挿的な新規視点合成は、異種センサから標準化された仮想視点を生成することで、自動運転におけるカメラリグ依存を低減できます。既存手法は、外挿された姿勢が弱い幾何学的支持を与え、密なターゲット視点の監督がないため、記録された軌跡の外側で劣化します。要点は、学習中にアウト・オブ・トラジェクトリ（軌跡外）条件の欠陥を明示的にモデルへ提示することです。我々は、疎な監督のもとで幾何学条件付けを行う枠組みGeo-EVSを提案します。Geo-EVSは2つの構成要素から成ります。幾何学に配慮した再投影（GAR）は、微調整したVGGTを用いて着色された点群を再構成し、それらを観測されたターゲット姿勢および仮想ターゲット姿勢へ再投影して、幾何学的条件マップを生成します。この設計により、学習時と推論時の再投影経路が統一されます。アーティファクト誘導潜在拡散（AGLD）は、学習中に再投影に由来するアーティファクトマスクを注入し、支持が欠落している状況下でもモデルが構造を復元することを学習できるようにします。評価では、密な外挿視点の教師データ（グラウンドトゥルース）が利用できない場合に、LiDAR投影型疎参照（LPSR）プロトコルを用います。Waymoにおいて、Geo-EVSは疎視点合成の品質と幾何学的精度を改善し、特に高角度かつ被覆率の低い設定で有効です。また、下流の3D検出も改善します。
Geo-EVS: 自動運転のための幾何条件付き外挿的ビュー合成
arXiv cs.CV / 2026/4/9
📰 ニュースSignals & Early TrendsIdeas & Deep AnalysisModels & Research
要点
- 本研究は、車載カメラ以外の異種センサから標準化した仮想視点を生成することで、複数カメラリグへの依存を下げる「外挿的ノベルビュー合成」の課題（軌道外での幾何支持不足と教師信号不足）に対処することを目的としています。
- 提案手法Geo-EVSは、(1) fine-tuned VGGTで着色点群を再構成し、観測・仮想ターゲット双方へ再投影して幾何条件マップを作るGeometry-Aware Reprojection（GAR）と、(2) 再投影由来のアーティファクトマスクを学習へ注入して欠落した幾何支持下での構造復元を学習させるArtifact-Guided Latent Diffusion（AGLD）から構成されます。
- 学習時に「軌道外の条件欠陥」に明示的に曝す設計が、推論時の外挿で品質が劣化する問題への主要な工夫として示されています。
- 評価では、密な外挿視点の教師が無い状況を想定し、LiDAR-Projected Sparse-Reference（LPSR）プロトコルを用いて幾何・画質の両面を検証しています。
- Waymo上で、特に高角度・低カバレッジ条件においてスパース視点合成の品質と幾何精度が向上し、さらに下流の3D検出性能も改善する結果が報告されています。
