幾何を保持する損失関数がブラックボックス生成モデルの適応を改善する

要旨: ブラックボックスの生成モデルの適応は、生成器の微調整、潜在空間探索、特異値分解の活用など、いくつかの手法を探ることを通じて、近年広く研究されてきました。しかし、大規模な生成AIツールを特定のユースケースに適応させることは依然として難しい状況です。というのも、これらの業界グレードのモデルの多くは広く利用可能な形で提供されていないためです。生成ネットワークの特定の層を微調整する従来の手法は、生成モデルの保存および微調整に伴うコストが大きいことに加え、重みや勾配へのアクセスが制限されていることから、現実的ではありません。これらの課題を踏まえ、本研究では、事前学習済みの生成敵対ネットワーク（GAN）と、幾何を保存する損失関数を組み合わせることで、ドメイン適応を目的とした新規のエンドツーエンド・パイプラインを提案します。本手法は、GAN反転が正確な潜在空間表現を得る上で果たす役割を再文脈化することで、適応問題そのものを捉え直します。既存の最先端インバータの能力を拡張しつつ、接空間間のペアごとの距離を保持することで、潜在生成モデルをうまく学習し、目標分布からのサンプルを生成できるようにします。提案するパイプラインを、実分布のシフトがあるStyleGANに対して評価し、幾何を保存する損失関数を導入することにより、他の従来型の損失関数と比べて生成モデルの適応が改善されることを示します。