ブラックボックス・データフリーの知識蒸留における多様な画像事前分布

Abstract

知識蒸留（KD）は、複雑な教師ネットワークから効率的な学生モデルへ専門知識を移転するための重要な仕組みを表します。しかし、分散型またはセキュアなAIエコシステムでは、プライバシー規制や企業秘密などの利害により、教師のインターフェースや元のデータセットへのアクセスがしばしば制限されます。これらの制約は、利用可能なのがトップ1予測のみで学習データが一切ないという、困難なブラックボックスのデータフリーKD状況を定義します。近年のアプローチでは合成データを用いるものの、データの多様性や蒸留のシグナルに関して依然として限界があります。私たちは、Diverse Image Priors Knowledge Distillation（DIP-KD）を提案します。この枠組みは、3段階の協調的パイプラインによりこれらの課題に対処します。（1）多様な視覚パターンと意味論を捉えるための画像プライオリの合成、（2）コントラスト学習によって合成サンプル間の集合的な識別性を高めるためのコントラスト化、（3）ソフト確率KDを可能にする新しいプライマー学生による蒸留、です。12のベンチマークにわたる評価の結果、DIP-KDは最先端の性能を達成し、アブレーションにより、制限されたAI環境における知識獲得にデータ多様性が重要であることが確認されました。