市販のビジョンモデルは画像操作のローカリゼーションに有効である

Abstract

画像操作ローカライゼーション（IML）および一般的な視覚タスクは、操作固有の特徴と意味論的特徴の間に本質的な違いがあるため、通常は2つの別々の研究分野として扱われます。しかし本論文では、このギャップを埋める新しい視点を導入します。すなわち、これら2つの方向性は本質的に結びついており、一般的な意味論的事前知識がIMLに役立つということです。この洞察に基づき、本論文では、既存の汎用ビジョンモデル（例：画像生成およびセグメンテーションネットワーク）をIML用に転用する、新しい学習可能なアダプタ（ReViと命名）を提案します。頑健な主成分分析に着想を得たこのアダプタは、これらのモデルに埋め込まれた意味の冗長性と操作固有の情報を分離し、後者を選択的に強化します。既存のIML手法が、広範なモデル再設計や全面的な再学習を必要とするのに対し、我々の手法は、パラメータを固定したオフ・ザ・シェルフの視覚モデルに依存し、提案するアダプタのみを微調整します。実験結果は、我々の手法が優れていることを示しており、スケーラブルなIMLフレームワークの可能性を裏付けています。