HAD：生涯にわたる異質性を考慮した蒸留による継続的ヘテロジニアス学習

要旨: 生涯学習は、前の課題から獲得した知識を維持しつつ、新しい課題の系列からの知識を取り込むことを目指す。しかし、先行研究のほとんどは（たとえば、分類課題のみのような）同質な課題のストリームのみを扱い、出力が異なる構造をもつ異質な課題にまたがって学習する状況は軽視している。本研究では、このより広い状況を生涯異質学習（LHL: Lifelong Heterogeneous Learning）として形式化する。従来の生涯学習からの違いとして、LHLの課題系列は異なる課題タイプにまたがり、学習者は出力空間の構造が異なるため、それぞれに対応した異質な知識を保持する必要がある。LHLを具体化するために、現実的で挑戦的なシナリオである高密度予測の文脈でのLHL（LHL4DP）に焦点を当てる。そこで本研究では、各学習フェーズにおいて自己蒸留を行うことで、これまでに得た異質な知識を保持する、エクザンプラーフリーの手法であるHeterogeneity-Aware Distillation（HAD）を提案する。提案するHADは、相補的な2つの構成要素からなる。すなわち、予測分布のグローバルな不均衡を緩和するための分布バランスに配慮した異質性を意識した蒸留損失と、ソーベル演算子で抽出した有益なエッジ画素に学習を集中させる、サリエンシーに導かれた異質性を意識した蒸留損失である。広範な実験により、提案するHAD手法がこの新しいシナリオにおいて既存手法を大幅に上回ることが示される。