SplAttN：ガウス・ソフト・スパッティングとアテンションで2Dと3Dを橋渡しするポイントクラウド補完

要旨: マルチモーダル学習は点群補完の分野で進展しているものの、理論的なメカニズムは依然として不明です。近年の研究では成功はモダリティ間の結びつきによるものだとされてきましたが、私たちは標準的なハード射影がこの結びつきを断ち切ってしまうことを見出しました。疎な点群を画像平面に射影すると、支持（サポート）が極端に疎になり、視覚的な事前情報の伝播を妨げます。この失敗モードを私たちはCross-Modal Entropy Collapse（クロスモーダル・エントロピー崩壊）と呼びます。こうした実用上の制約に対処するため、私たちはSplAttNを提案します。SplAttNはハード射影の代わりに微分可能なGaussian Splattingを用い、密で連続的な画像平面表現を生成します。射影を連続的な密度推定として再定式化することで、SplAttNは崩壊した疎な支持を回避し、勾配の流れを促進し、モダリティ間の結びつきの学習可能性を向上させます。大規模な実験の結果、SplAttNはPCNおよびShapeNet-55/34において先端（state-of-the-art）の性能を達成することが示されました。重要な点として、実世界のKITTIベンチマークを、マルチモーダルへの依存のストレステストとして用いています。反事実的評価では、ベースラインが視覚の除去に鈍感な単一モダリティのテンプレート探索器へと退化する一方で、SplAttNは視覚的手がかりへの頑健な依存を維持しており、私たちの方法が有効なクロスモーダル結びつきを確立することを裏付けています。コードは https://github.com/zay002/SplAttN で公開されています。