ClipGStream：任意の長さ・任意の動きに対応するマルチビュー動的シーン再構成のためのClip-Stream Gaussian Splatting

Abstract

ダイナミックな3Dシーンの再構成は、VR、MR、XRのような没入型メディアに不可欠ですが、大規模な動きを伴う長いマルチビュー系列では依然として難しい課題です。既存のダイナミック・ガウス手法は、いずれもフレーム・ストリーム型でスケーラビリティはあるものの時間的安定性が低いか、クリップ型でローカルな整合性は得られる一方で高いメモリ消費と限られた系列長という代償を払うものです。そこで本研究では、フレーム単位ではなくクリップ単位でストリーム最適化を行う、ハイブリッド再構成フレームワーク「ClipGStream」を提案します。系列は短いクリップに分割され、動的モーションは、クリップ非依存の時空間フィールドと、局所的な変化を効率的に捉えるための残差アンカー補償によってモデル化されます。一方で、クリップ間で継承されるアンカーとデコーダによって、クリップをまたいだ構造的一貫性が維持されます。このClip-Stream設計により、高い時間的一貫性を備えた長いダイナミック動画を、ちらつきのない形でスケーラブルに再構成でき、かつメモリオーバーヘッドも削減できます。大規模な実験により、ClipGStreamが最先端の再構成品質と効率を達成することを示します。プロジェクトページは以下で利用可能です: https://liangjie1999.github.io/ClipGStreamWeb/