MSGS：多スペクトル 3D ガウス・スパッタリング

arXiv cs.CV / 2026/4/16

💬 オピニオンSignals & Early TrendsIdeas & Deep AnalysisModels & Research

共有:

要点

本論文では、各ガウスに波長に応じたスペクトル放射輝度を、バンドごとの球面調和関数でモデル化して付加することで、3D ガウス・スパッタリングを多スペクトルへ拡張した MSGS を提案する。
RGB と多スペクトルの両方の信号を教師信号として与えるデュアルロスによる学習アプローチを用い、RGB のみの情報に依存するのではなく、波長に応じたビュー合成を可能にする。
最適化中により豊かなスペクトル手がかりを保持するために、本手法はスペクトルから RGB への変換をピクセルレベルで行い、描画の忠実度を向上させる。
公開データセットおよび自己取得データセットでの実験により、RGB のみの 3DGS ベースラインに比べて、画像品質とスペクトル一貫性の両面で改善が示される。特に、透過性材料や異方的な反射で効果が大きい。
著者らは、MSGS が 3DGS のコンパクトさとリアルタイム効率を維持しつつ、今後は物理ベースのシェーディングモデルへの統合に向けた発展が可能であると主張している。

要旨: 波長に応じたビュー合成のための、3Dガウススパッティング（3DGS）のマルチスペクトル拡張を提案します。各ガウスはスペクトル放射輝度で拡張され、バンドごとの球面調和関数によって表現され、RGB信号とマルチスペクトル信号を組み合わせたデュアル損失の教師あり枠組みのもとで最適化されます。レンダリングの忠実度を高めるために、ピクセルレベルでスペクトルからRGBへの変換を行い、最適化中により豊かなスペクトル手がかりを保持できるようにします。提案手法は、公的データセットと自己取得した実世界データセットの両方で評価され、画像品質およびスペクトルの整合性の観点で、RGBのみの3DGSベースラインに対して一貫した改善が示されます。特に、半透明な素材や異方的な反射を含む困難なシーンで優れた性能を発揮します。提案するアプローチは、3DGSのコンパクトさとリアルタイム効率を維持しつつ、将来的な物理ベースのシェーディングモデルとの統合のための基盤を築きます。