PortraVec：画像ベースの人物ポートレートをベクトル化し、テキストで操作する手法

Abstract

似顔絵スケッチ生成はスケッチ合成における特殊な課題ですが、既存のほとんどの手法はピクセルベースであるため、解釈可能性や編集性が制限されています。ベクトル生成技術の台頭により、スケッチをベクトル要素として表現できれば、より柔軟な操作が可能になるかもしれません。しかし、ベクトル画像は重なりを持つこと、また粗い詳細のモデリングによって、既存のベクトル化手法は顔の整合性や微細なディテールを捉えることに苦戦しており、さらにセマンティックな制御が欠けています。これらの問題に対処するため、テキストによる制御を備えたピクセルベースのポートレート画像からベクトルスケッチへ変換するための枠組みであるPortraVecを提案します。具体的には、注意を意識したオフセットサンプリング（Attention-aware Offset Sampling）を用いた2段階の画像誘導生成モジュールにより、顔の構造を捉えつつ詳細の逸脱を補正し、さらに、領域ベースのパラメータフリーズ（Region-based Parameter Freezing）に基づくテキスト誘導の操作モジュールにより、グローバルな整合性を維持しながら局所的なセマンティック編集を可能にします。実験の結果、PortraVecは最先端手法と比べて、構造の一貫性、視覚的忠実性、セマンティック制御性のいずれにおいても優れていることが示されました。