UniBioTransfer: 複数の生体特徴転送に対応する統一フレームワーク

要約：Deepface生成は伝統的にタスク駆動型のパラダイムに従っており、個別のタスク（例：顔転送と髪の転送）をタスク固有のモデルによって対処します。とはいえ、この単一タスク設定はモデルの一般化能力とスケーラビリティを著しく制限します。複数のDeepface生成タスクを1回の処理で解決できる統一モデルは、有望で実用的な方向性を示しますが、データ不足と異種の属性変換に起因するタスク間のコンフリクトのため、なお困難です。ここで、顔の生成タスクの伝統的な枠組みと、形状が変化する変換の両方を単一のパスで扱える初の統一フレームワーク、UniBioTransferを提案します。従来の Deepface タスク（例：顔転送と顔再演出）と、髪の転送や頭部転送のような形状が変化する変換の両方を扱える初の統一フレームワークとして、UniBioTransferはこれを実現します。さらに、UniBioTransferは唇の転送、目の転送、眼鏡の転送のような未知のタスクにも最小限のファインチューニングで自然に一般化します。概して、UniBioTransferは髪のような空間的に動的な属性を対象としたスワッピングベースの破損機構を含む、統一的なデータ構築戦略を通じて、多タスク生成におけるデータ不足に対処します。さらに、革新的なBioMoE、専門家の混合モデルと新しい 2段階トレーニング戦略を組み合わせ、タスク固有の知識を効果的に分離することで、タスク間の干渉を緩和します。広範な実験は、UniBioTransferの有効性、一般化、およびスケーラビリティを実証し、既存の統一モデルとタスク特化手法の両方を、広範な Deepface生成タスクにおいて上回ることを示しています。プロジェクトページは https://scy639.github.io/UniBioTransfer.github.io/ にあります。