M2StyleGS: ガウシアン・スプラッティングによるマルチモーダル3Dスタイル転送
arXiv cs.CV / 2026/4/7
💬 オピニオンSignals & Early TrendsIdeas & Deep AnalysisModels & Research
要点
- M2StyleGS は、3D ガウシアン・スプラッティングを用いて新しい視点のカラー対応シーケンスを生成する、提案手法のリアルタイム3Dスタイル転送手法である。
- 固定の参照画像のみに依存する代わりに、この手法はテキスト記述や多様な画像といった柔軟なマルチモーダル入力をサポートし、参照スタイル特徴を洗練するために CLIP を用いる。
- 「subdivisive flow（分割的フロー）」によって異常な変形を扱い、特徴の正確なアラインメントを実現することで、マッピングされた CLIP のテキスト-視覚特徴が VGG ベースのスタイル特徴へ投影される精度を向上させる。
- 生成時に参照スタイルとの一致をより良くするための観測ロス（observation loss）と、デコード過程で参照カラー情報がドリフトするのを抑制する抑制ロス（suppression loss）を導入する。
- 実験では、先行研究より最大 32.92% 一貫性が改善され、視覚品質も向上したと報告されており、スタイル付き3D視点合成に対する汎化性能の強さが示唆される。
