ゼロショット学習のための相互因果セマンティック蒸留ネットワーク

要約: ゼロショット学習（ZSL）は、サイド情報（例：属性）によって導かれるオープンワールドの中で未見のクラスを認識することを目的とします。その主要な任務は、見られたクラスにおける視覚特徴と属性特徴の間の潜在的意味知識をどのように推定するかであり、したがって見られたクラスから未見のクラスへの望ましい意味知識の転送を実現することです。先行研究は弱教師付きの枠組みの中で一方向性のアテンションを単純に用いて、偽りの（スパーリアス）かつ限定的な潜在意味表現を学習しますが、視覚特徴と属性特徴の間の intrinsic semantic knowledge（例：属性意味）を効果的に発見することに失敗します。これらの課題を解決するために、相互因果意味蒸留ネットワーク（MSDN++）を提案し、ZSLのための内在的かつ十分な意味表現を蒸留します。MSDN++は、属性\rightarrow視覚の因果アテンションサブネット（属性ベースの視覚特徴を学習）と、視覚\rightarrow属性の因果アテンションサブネット（視覚ベースの属性特徴を学習）から構成されます。因果アテンションは、2つのサブネットが因果的な視覚-属性の関連を学習し、因果的な視覚/属性学習を通じて信頼できる特徴を表現するよう促します。意味蒸留損失の指導の下、2つの相互アテンションサブネットは協調的に学習し、訓練プロセス全体で互いに教え合います。3つの広く用いられるベンチマークデータセット（例：CUB、SUN、AWA2、FLO）での広範な実験は、我々のMSDN++が強力なベースラインに対して顕著な改善をもたらし、新たな最先端の性能へ繋がることを示しています。