結果報酬強化学習と視覚的手がかりによる生成ゼロショット学習のインセンティブ化

概要: ゼロショット学習（ZSL）における近年の進展は、生成モデルの可能性を示している。一般に、生成的ZSLでは、意味プロトタイプに条件付けて視覚特徴を合成し、見えていないクラスのデータ分布をモデル化する。続いて、合成データ上で分類器を学習する。しかし、合成された特徴はしばしばタスクに無関心なままであり、その結果、性能が低下する。さらに、意味プロトタイプだけから忠実な分布を推論することは、意味的に類似しているが視覚的には異なるクラスに対しては不十分である。これらに対処し、ZSLをさらに前進させるために、本研究では、生成的ZSLのための視覚的手がかりを備えた、結果に基づく強化学習の枠組みであるRLVCを提案する。RLVCの中核は、強化学習によって生成モデルが自律的に自己進化し、それによって生成能力が暗黙に強化される点にある。具体的には、RLVCは結果に基づく報酬を用いて生成モデルを更新し、タスクに関連する特徴の合成を促す。さらに、(i) 合成特徴を視覚プロトタイプに整合させ、(ii) 強化学習の学習更新を安定化させるクラスごとの視覚的手がかりを導入する。学習プロセスとして、我々は新しいコールドスタート戦略を提示する。3つの代表的なZSLベンチマークに対する包括的な実験および分析により、RLVCが4.7%の向上を伴って先端（state-of-the-art）の結果を達成することを示す。