TexEditor: 構造を保持するテキスト駆動のテクスチャ編集

要旨: テキスト指示によるテクスチャ編集は、基盤となる幾何学的構造を保ちながら対象の外観を変更することを目的としています。 しかし、我々の経験的分析は、最先端の編集モデルでさえ、外観変更が純粋に見た目に関連するものであるにもかかわらず、テクスチャ編集中の構造的一貫性を維持するのにしばしば苦労することを示しています。 この観察に動機づけられ、データとトレーニングの両方の観点から構造保存を共同で強化し、Qwen-Image-Edit-2509をベースとした専用のテクスチャ編集モデルTexEditorを構築します。 第一に、Blenderを用いて生成された高品質なSFTデータセットTexBlenderを構築します。これはコールドスタートに対して強力な構造的事前情報を提供します。 次に、SFT中に学習した構造的事前情報を実世界のシーンへ転送するため、構造を維持する損失を組み込んだRLベースのアプローチStructureNFTを導入します。 さらに、既存のベンチマークの現実味と評価カバー範囲が限定的であることから、TexBenchを導入します。TexBenchはテキスト指示付きテクスチャ編集の汎用実世界ベンチマークです。 Blenderベースの既存のテクスチャベンチマークとTexBenchを用いた大規模な実験の結果、TexEditorはNano Banana Proといった強力なベースラインを一貫して上回ることを示しています。 さらに、TexEditorを汎用ベンチマークImgEditで評価し、その汎化性能を検証します。 私たちのコードとデータは https://github.com/KlingAIResearch/TexEditor で入手可能です。