CLOTH-HUGS：布を考慮したヒトのガウス・スプラッティング

Abstract

本稿では、身体と衣服を明示的に切り離す、ガウススプラッティングに基づくニューラルレンダリングフレームワークであるCloth-HUGSを提案する。従来手法は衣服を単一の身体表現に吸収してしまうため、だぶついた衣服や複雑な変形に苦戦していた。Cloth-HUGSは、共有されたカノニカル空間の中で、身体と衣服それぞれを分離したガウス層としてパフォーマーを表現する。カノニカルボリュームは身体、衣服、そしてシーンのプリミティブを共同で符号化し、SMPLに基づくアーティキュレーションにより変形される。さらに、学習された線形ブレンドスキニング重みを用いる。衣服のリアリズムを高めるために、衣服ガウスをメッシュトポロジーから初期化し、シミュレーション整合性（simulation-consistency）、ARAP正則化（ARAP regularization）、およびマスク監督（mask supervision）を含む、物理に着想を得た制約を適用する。加えて、頑健な身体—衣服—シーンの合成を可能にするため、深度に着目したマルチパスレンダリング戦略を導入する。これにより、60 FPSを超えるリアルタイムレンダリングが実現できる。複数のベンチマークに対する実験の結果、Cloth-HUGSは最先端のベースラインと比べて知覚品質と幾何学的忠実性を改善し、LPIPSを最大28%低減しつつ、時間的に一貫した衣服ダイナミクスを生成することが示される。