知識蒸留は失うものを考慮しなければならない

Abstract

本論文は、知識蒸留は失うものを考慮しなければならない、という主張を行う。すなわち、学生モデルは、保持されたタスクのスコアだけで評価されるべきではなく、そのスコアの信頼性を生み出している教師の能力をどこまで保持しているかによって評価されるべきである。これは重要である。なぜなら、蒸留は、巨大でしばしば最先端のモデルを、導入可能なシステムへと変換するために、ますます広く利用されている一方で、見出しとなる指標が、不確実性、境界挙動、プロセスの信頼性、オンポリシー安定性、グラウンディング、プライバシー、安全性、そして多様性における損失を見えなくしてしまうからである。本稿では、現在の評価が暗黙に依拠している「保持（retention）」の仮定を特定し、蒸留を、忠実なコピーではなく、教師の振る舞いに対する損失的（ロッシー）な射影として捉え直す。さらに、既存の証拠を統合して、オフメトリック（指標外）蒸留における損失の分類法（タクソノミー）を提示し、これらの損失が具体的で、反復して発生し、かつ測定可能であることを示す。提案を実行可能なものにするために、状況（シナリオ）固有の保持目標と、「何が保持され、何が失われ、なぜ残りの損失が許容できるのか」を報告する蒸留損失声明（Distillation Loss Statement）を提案する。目標は損失のない蒸留ではなく、説明可能で説明責任のある蒸留（accountable distillation）である。