Resonance4D：プリセット不要の物理パラメータ学習のための周波数領域モーション監督—4Dダイナミック物理シーンシミュレーション

Abstract

静止した3Dシーンからの物理駆動4Dダイナミクスシミュレーションは、見落とされている矛盾によってなお制約されています。すなわち、信頼できる運動の教師信号は、多くの場合オンラインのビデオ拡散や光フローのパイプラインに依存しますが、その計算コストがシミュレータ自身のコストを上回りがちです。既存手法はさらに、逆物理モデリングを部分的な物質パラメータのみを最適化することで単純化し、複雑な物質とダイナミクスを含むシーンにおいて現実性を損なっています。私たちは、軽量でありながら物理的に表現力のある教師信号によって、3Dガウス・スプラッティングとマテリアル・ポイント・メソッドを結合する物理駆動4Dダイナミクス・シミュレーション基盤 Resonance4D を提案します。重要な洞察は、補完的な領域において運動を共同で拘束することで、密な時系列生成を行わずに動的整合性を強制できるという点です。そこで本研究では、局所的な変形に対する空間的な構造整合性と、振動的および大域的なダイナミックパターンに対する周波数領域のスペクトル整合性を組み合わせた Dual-domain Motion Supervision (DMS) を導入し、物理的に意味のある運動の手がかりを保持したまま、学習コストとメモリのオーバーヘッドを大幅に削減します。さらに、安定した全パラメータの物理的回復を可能にするために、ゼロショットのテキストプロンプトによるセグメンテーションと、シミュレーションに導かれた初期化を組み合わせ、ガウスを物体パート単位の領域へ自動分解し、全物質パラメータの共同最適化を支援します。合成および実世界の両方のシーンに対する実験により、Resonance4D は強い物理的忠実性と運動の整合性を達成し、ピークGPUメモリを35\,GB超から約20\,GBへと削減し、単一のコンシューマグレードGPU上で高精細な物理駆動4Dシミュレーションを実現できることが示されます。