ART-VITON：アーティファクトフリーなバーチャル試着のための測定ガイド付き潜在拡散

概要: 仮想試着（VITON）は、目標となる衣服を着用した人物の現実的な画像を生成することを目的としており、試着領域では衣服の正確な位置合わせが必要であり、また非試着領域ではアイデンティティと背景を忠実に保持する必要があります。潜在拡散モデル（LDM）は位置合わせや詳細生成を大きく進歩させてきましたが、非試着領域の保持は依然として困難です。よく用いられる事後的な戦略として、これらの領域を元の内容で直接置換する方法がありますが、急な遷移は境界アーティファクトを生じやすくなります。これを克服するために、我々はVITONを線形逆問題として再定式化し、軌道整合型ソルバを採用します。このソルバは、測定整合性を段階的に強制することで、非試着領域における急な変化を抑えます。しかし既存のソルバでは、生成中に意味のドリフトが依然として発生し、その結果としてアーティファクトにつながります。そこで我々は、測定に導かれた拡散フレームワークであるART-VITONを提案し、測定への適合を保証しつつ、アーティファクトのない合成を維持します。本手法は、学習と推論の不一致を緩和するための残差事前分布に基づく初期化と、データ整合性、周波数レベルの補正、周期的な標準的デノイングを組み合わせたアーティファクトのない測定ガイド付きサンプリングを統合します。VITON-HD、DressCode、SHHQ-1.0での実験により、ART-VITONがアイデンティティと背景を効果的に保持し、境界アーティファクトを解消し、最先端のベースラインと比較して視覚的忠実性と頑健性を一貫して向上させることが示されます。