マルチモーダル大規模言語モデルから得られる視覚事前知識に導かれた3Dスモークシーン復元

Abstract

煙によって劣化したマルチビュー画像から3Dシーンを再構成することは、煙が強い散乱効果を引き起こし、視点に依存した見えの変化を生じさせ、さらにビュー間の整合性を著しく損なうため、特に困難です。これらの問題に対処するために、視覚的事前知識を効率的な3Dシーンモデリングと統合する枠組みを提案します。Nano-Banana-Proを用いて煙で劣化した画像を強化し、再構成のためのより明確な視覚的観測を提供します。そして、煙のシーン再構成と復元を目的としたニュー・ビュー合成のための、ミディアム（媒質）を意識した3D Gaussian Splatting（3Dガウス・スプラッティング）フレームワークであるSmoke-GSを開発します。Smoke-GSは明示的な3Dガウスでシーンをモデル化し、煙によって生じる方向依存の見えの変化を捉えるための、軽量な視点依存のミディアム・ブランチを導入します。本手法は3Dガウス・スプラッティングのレンダリング効率を維持しつつ、煙による劣化に対する頑健性を向上させます。結果は、困難な煙環境において、一貫性があり視覚的に明瞭なニュー・ビューを生成するうえで、本手法の有効性が示されます。