Director：動的シーンモデリングと理解のための、インスタンス対応（instance-aware）ガウススプラッティング

要旨: ボリュメトリック・ビデオは、動的なシーンを時間的に整合した4次元表現としてモデル化することを目指します。近年のガウスベースの手法は目を見張る描画品質を実現していますが、主に見た目（外観）を重視する一方で、インスタンス単位の構造にはほとんど無関係であり、その結果、高度に動的な状況における安定したトラッキングや意味推論が制限されます。本論文では、人の動作（performace）、高忠実度レンダリング、インスタンス単位のセマンティクスを同時にモデル化する統一型の時空間ガウス表現であるDirectorを提案します。主要な着想は、インスタンス整合的なセマンティクスを埋め込むことが4Dモデリングを自然に補完し、より正確なシーン分解を可能にするとともに、頑健な動的シーン理解を支える点にあります。そのために、Multimodal Large Language Modelsから導出した、時間的に整合したインスタンスマスクと文埋め込みを活用し、2つのMLPデコーダを介して、各ガウスの学習可能な意味的特徴を教師ありで学習します。これにより、言語に整合した4D表現を実現し、時間をまたいだ同一性の一貫性を強制します。時間的安定性を高めるために、2D光フローを4Dガウスと橋渡しし、それらの動きを微調整することで、信頼できる初期化とドリフトの低減を行います。さらに学習では、幾何学に配慮したSDF制約と、表面の連続性を強制する正則化項を導入し、動的な前景モデリングにおける時間的なコヒーレンスを高めます。実験の結果、Directorは、時間的にコヒーレントな4D再構成を達成しつつ、インスタンス分割とオープンボキャブラリの問い合わせも同時に可能にすることが示されます。