HyPER-GAN: 実時間フォトリアリズム向上のためのハイブリッドパッチベースの画像間翻訳

要約: 生成モデルは、コンピュータビジョンアルゴリズムの訓練用合成データのフォトリアリズムを向上させるために広く用いられています。しかし、これらはしばしば視覚的アーティファクトを引き起こし、アルゴリズムの精度を低下させ、高い計算リソースを必要とするため、リアルタイムの訓練や評価のシナリオでの適用を制限します。本論文では、Hybrid Patch Enhanced Realism Generative Adversarial Network（HyPER-GAN）を提案します。これは、リアルタイム推論を想定したU-Netスタイルのジェネレーターに基づく、軽量な画像間翻訳法です。モデルは、ペアになった合成データとフォトリアリズム強化画像を用いて訓練され、実世界データからの対応パッチを組み込むハイブリッドな学習戦略によって補完され、視覚的リアリズムと意味的一貫性を向上させます。実験結果は、HyPER-GANが推論レイテンシ、視覚的リアリズム、および意味的頑健性の点で、最先端のペア付き画像間翻訳法より優れていることを示しています。さらに、提案されたハイブリッド学習戦略は、ペアになった合成データとフォトリアリズム強化画像のみを用いてモデルを訓練した場合と比較して、視覚的品質と意味的一貫性を実際に向上させることを示しています。コードと事前学習済みモデルは、以下のURLで公開されています: https://github.com/stefanos50/HyPER-GAN