OmniDiT: 拡散トランスフォーマーを Omni-VTON フレームワークへ拡張

要約: 仮想試着（VTON）および Try-Off（VTOFF）技術の急速な進展にもかかわらず、既存のVTON手法は、細かなディテールの保持、複雑なシーンへの一般化、煩雑なパイプライン、および効率的な推論といった課題に直面しています。これらの問題に対処するため、Diffusion Transformer に基づくオムニ仮想試着フレームワーク OmniDiT を提案します。これは、試着（try-on）と試着解除（try-off）タスクを1つの統一モデルに統合するものです。具体的には、まず自己進化型データキュレーション・パイプラインを確立して継続的にデータを生成し、大規模な VTON データセット Omni-TryOn を構築します。Omni-TryOn には38万件を超える多様で高品質な衣服-モデル-トライオンの画像ペアと詳細なテキストプロンプトが含まれます。次に、トークン連結を用い、複数の参照条件を効果的に組み込むための適応的な位置エンコーディングを設計します。長いシーケンス計算のボトルネックを緩和するため、Shifted Window Attention を拡散モデルに初めて導入し、線形計算量を実現しました。局所ウィンドウ注意による性能低下を是正するため、複数のタイムステップ予測とアライメント損失を用いて生成忠実度を向上させます。実験の結果、さまざまな複雑なシーンにおいて、我々の手法はモデルフリーのVTONおよびVTOFFタスクの双方で最高の性能を達成し、モデルベースのVTONタスクでは現在のSOTA手法と同等の性能を示すことが分かりました。