意味セグメンテーションにおける「カノニカル」知識蒸留が意外に効果的である理由

Abstract

最近の知識蒸留（KD）手法は意味セグメンテーションに対して導入されているが、ますます複雑な手作りの目的関数が必要になる一方で、通常は固定されたイテレーション計画のもとで評価されている。これらの目的関数は1イテレーションあたりのコストを大幅に増加させるため、同じイテレーション回数が同じ訓練予算を意味しない。したがって、報告されている改善がより強い蒸留シグナルによるものなのか、それとも単に計算量の増加によるものなのかは不明である。そこで本研究では、イテレーションベースの比較が誤解を招くことを示す。ウォールクロックの計算量が一致する場合、\textit{canonical} なロジットおよび特徴ベースのKDは、最近のセグメンテーション特化手法を上回る。訓練を延長すると、特徴ベースの蒸留により、Cityscapes と ADE20K において最新の ResNet-18 の性能が達成される。PSPNet ResNet-18 の学生モデルは、パラメータの4分の1のみを使用しているにもかかわらず、教師の ResNet-101 に非常に近い性能を示す。Cityscapes では教師の mIoU の 99\%（79.0 対 79.8）、ADE20K では 92\% に到達する。これらの結果は、セグメンテーションに対する KD にはタスク固有の仕組みが必要だという、現在の支配的な仮定に挑戦するものであり、今後の手法設計は複雑で手作りの目的関数ではなく、スケーリングによって導かれるべきだと示唆する。