Leveling3D：フィードフォワード型3Dガウシアン・スプラッティングと幾何学的情報を考慮した生成による3D再構成のレベルアップ

要約: フィードフォワード型3D再構成は3Dビジョンを革新し、3D Gaussian Splattingを用いた新規視点合成などの下流タスクに対して強力なベースラインを提供します。従来の研究は、拡散モデルを用いて破損したレンダリング結果を修復することを検討しています。しかし、それらは幾何学的な配慮に欠け、外挿視点の欠損領域を埋めることに失敗します。本研究では、フィードフォワード型3D再構成と幾何学的に整合した生成を統合し、全体的な同時再構成と生成を可能にする新しいパイプラインであるLeveling3Dを提案します。幾何情報対応型レベリングアダプタを提案します。これは、拡散モデルの内部知識を、フィードフォワードモデルからの幾何学的事前知識と整合させる軽量な手法です。レベリングアダプタは、3D表現の制約不足領域によって生じる外挿された新規視点のアーティファクト領域での生成を可能にします。具体的には、より多様な分布生成を学習するために、トレーニング時のパレットフィルタリング戦略を導入し、修正領域に沿って生じる乱雑な境界を防ぐためのテスト時マスキングの改良を行います。より重要な点として、Leveling3Dによって強化された外挿された新規視点は、フィードフォワード型3DGSへの入力として利用でき、3D再構成を格段に向上させます。公開データセットにおいて最先端の性能を達成しました。これには新規視点合成や深度推定といったタスクが含まれます。