DirectFisheye-GS: クロスビュー同時最適化によりGaussian Splattingでネイティブな魚眼入力を可能にする

arXiv cs.CV / 2026/4/2

💬 オピニオンSignals & Early TrendsIdeas & Deep AnalysisModels & Research

共有:

要点

本論文は、魚眼カメラモデルを3次元ガウススパッタリング（3DGS）に直接組み込み、前処理としての歪み補正（undistortion）を行わずにネイティブの魚眼画像から学習できる手法であるDirectFisheye-GSを提案する。
既存の「歪み補正・リサンプリング」パイプラインが再構成品質を損なう理由を説明し、ブラックボーダーの損失や、詳細が薄まってぼやけや浮遊（floating）アーティファクトにつながる点を挙げる。
魚眼のモデリングが正しく行われていても、著者らは画像端付近に残留する「floaters」（浮遊アーティファクト）を観測し、その要因として、周辺部の歪み増大と、3DGSにおける反復ごとのランダムな視点選択によってクロスビュー間の相関が十分に捉えられないことを指摘する。
これを解決するために、特徴の重なり（feature-overlap）に基づくクロスビュー同時最適化を導入し、複数視点間で幾何学的・写真測量的（フォトメトリック）な整合条件を強制することで、安定性と忠実度を向上させる。
DirectFisheye-GSは公開データセット上で、従来の最先端手法に匹敵、またはそれを上回る結果が報告されており、最適化の考え方はピンホールカメラのパイプラインにも適用可能であると主張されている。