SwiftTailor: ジオメトリ画像表現を用いた効率的な3D衣服生成

要旨: 現実的で効率的な3D衣服生成は、コンピュータビジョンとデジタルファッションにおける長年の課題です。既存の手法は通常、大規模な視覚-言語モデルを利用して2D縫製パターンの逐次表現を生成し、それを GarmentCode のような衣服モデリングフレームワークを用いてシミュレーション準備が整った3Dメッシュへ変換します。これらのアプローチは高品質な結果を生み出しますが、推論時間が長くなることが多く、30秒から1分程度の時間を要します。本研究では、SwiftTailor という新規の2段階フレームワークを導入します。縫製パターンの推論とジオメトリベースのメッシュ合成を、コンパクトなジオメトリ画像表現を通じて統合します。SwiftTailor は2つの軽量モジュールから成り立っています。PatternMaker は多様な入力モダリティから縫製パターンを予測する効率的な視覚-言語モデル、GarmentSewer はこれらのパターンを新規の Garment Geometry Image に変換する効率的な密度予測トランスフォーマーで、統一UV空間内のすべての衣服パネルの3D表面を符号化します。最終的な3Dメッシュは、リメッシュと動的ステッチングアルゴリズムを組み込んだ効率的な逆写像プロセスを通じて再構築され、衣服を直接組み立てることで物理シミュレーションのコストを分散します。Multimodal GarmentCodeData における大規模な実験によって、SwiftTailor が最先端の精度と視覚的忠実度を達成しつつ推論時間を大幅に短縮することが示されています。本研究は、次世代の3D衣服生成に対して、スケーラブルで解釈可能かつ高性能な解決策を提供します。