ハイブリッドドメイン知識融合によるポートレートリライティングの実運用導入に向けて

arXiv cs.CV / 2026/4/28

📰 ニュースIdeas & Deep AnalysisModels & Research

共有:

要点

実世界でのポートレートリライティングの導入が進まない主な要因として、データセット間のドメインギャップ、カメラ感度の違い、そして計算コストの高さが挙げられる。
本論文は「ハイブリッドドメイン知識融合」として、合成OLAT（One-Light-at-a-Time）データと実世界データセットの強みを統合し、コンパクトなモデルを学習する枠組みを提案する。
ドメインに配慮した適応により専門的な事前モデルを強化した上で、知識蒸留（augmented knowledge distillation）を行い、軽量な学生モデルへ多ドメインの知見を移す。
実験では、推論を6倍〜240倍高速化しつつ、SOTAの視覚品質を維持できることが報告されている。
さらに、学習パイプラインを支えるために、多様なグラウンドトゥルースのイントリクスを備えた大規模で高精度な合成データセットも構築している。

Abstract

ポートレートのリライト（relighting）の実世界での導入は、データセットの領域ギャップ、カメラの感度、および計算コストによって妨げられています。私たちは、合成データセット、One-Light-at-A-Time（OLAT）、および実世界データセットの専門的な強みをコンパクトなモデルへ融合する「Hybrid Domain Knowledge Fusion（ハイブリッド・ドメイン知識融合）」というパラダイムで、これらの課題に取り組みます。提案手法では、まず領域を意識した適応によって強化された専門の事前モデルを用い、その後、多領域の専門性を備えた軽量な学生モデルへ向けて拡張した知識蒸留を行います。実験では、最先端（SOTA）の視覚品質を維持しながら、推論速度を6倍から240倍まで向上させることを示します。さらに、学習パイプラインを支えるために、多様な真値の内在パラメータ（intrinsics）を備えた、大規模で高忠実度な合成データセットを構築します。