ArtifactWorld: ビデオ生成モデルによる3Dガウススプラッティングのアーティファクト復元のスケーリング

概要: 3Dガウススプラッティング（3DGS）は高忠実度のリアルタイムレンダリングを実現しますが、疎ビュー条件下では幾何学的およびフォトメトリックな劣化が生じます。現在の生成的復元アプローチは、多くの場合、十分な時間的コヒーレンスの欠如、明示的な空間制約の不足、大規模な学習データの不足によって制約され、その結果として、複数ビュー間の不整合、誤った幾何学的ハルシネーション、そして多様な実世界のアーティファクト分布への汎化性能の限界が生じます。本論文では、体系的なデータ拡張と均質なデュアルモデルのパラダイムにより、3DGSのアーティファクト修復を解決するフレームワーク「ArtifactWorld」を提案します。データのボトルネックに対処するために、3DGSアーティファクトの微細な現象論的分類法を確立し、モデルの頑健性を高めるために、多様なペア動画クリップ107.5K件からなる包括的な学習セットを構築します。アーキテクチャ的には、動画拡散バックボーン内で復元プロセスを統合し、同型（isomorphic）な予測器を用いてアーティファクトヒートマップにより構造上の欠陥を局所化します。このヒートマップは、Artifact-Aware Triplet Fusion（アーティファクトを考慮したトリプレット融合）メカニズムによって復元を導き、ネイティブな自己注意内で強度に導かれた精密なスパティオ・テンポラル修復を可能にします。大規模な実験により、ArtifactWorldが疎な新規ビュー合成および頑健な3D再構成において最先端の性能を達成することを示します。コードとデータセットは公開予定です。