ブラックボックス少数ショット知識蒸留における多様性の改善

要旨: 知識蒸留（KD）は、性能の低下をほとんど伴わずに、大規模なネットワーク（教師）を小規模なネットワーク（生徒）へ効果的に圧縮するためのよく知られた手法である。 しかし、ほとんどのKD手法は、大規模な学習データセットと教師への内部アクセスを必要とし、さまざまな制限のためにそれらが利用できることはほとんどない。 これらの課題から、より実用的な設定として、ブラックボックス少数ショットKDが提案されている。そこでは、生徒は少数枚の画像とブラックボックスの教師を用いて訓練される。 近年の手法では一般に、追加の合成画像を生成するが、それらの多様性を促進するための能動的な戦略が欠けており、これは生徒の学習における重要な要因である。 これらの問題に対処するために、我々は敵対的生成ネットワークに対する新しい学習スキームを提案する。具体的には、教師の監督のもとで高い確信度をもつ画像を適応的に選択し、それらをその場で敵対的学習に導入する。 提案手法は、蒸留セットの拡張と多様性の向上を支援し、その結果として生徒の精度を大幅に向上させる。 広範な実験を通じて、7つの画像データセットにおいて、他の少数ショットKD手法の中で最先端の結果を達成した。 コードは https://github.com/votrinhan88/divbfkd で公開されている。