Abstract
記憶効率の高い転移学習（METL）アプローチは、最近、事前学習済みモデルを下流タスクに適応させる際に有望な性能を達成している。これらは大規模なバックボーンに対して勾配のバックプロパゲーションを適用しないため、微調整（fine-tuning）中の学習可能パラメータ数と高いメモリ消費を大幅に削減できる。しかし、通常は軽量で学習可能なサイドネットワークを用いるため、推論時に追加のメモリと時間オーバーヘッドが不可避的に生じ、効率的な転移学習という最終目標と矛盾する。上述の問題に対処するため、我々は、フェーディングするサイドネットワークを用いた微調整において、パラメータおよびメモリ効率を維持しつつ推論を加速する、新たな手法「Masked Dual Path Distillation（MDPD）」を提案する。具体的には、MDPDは微調整時に凍結したバックボーンと学習可能なサイドネットワークを相互に蒸留することで性能を高める枠組みを構築し、精度を犠牲にすることなく推論時にはサイドネットワークを破棄する。さらに、複数層を持つエンコーダ構造に対して、特徴に基づく新しい知識蒸留法を設計する。視覚/言語のみのタスクおよび視覚と言語の双方を含むタスクにおいて、異なるバックボーンを対象とした大規模な実験により、提案手法は、パラメータおよびメモリ消費を同程度に保ちながら、少なくとも25.2
%の推論加速を実現するだけでなく、SOTA手法と比較して精度を顕著に向上させることも示された。ソースコードは https://github.com/Zhang-VKk/MDPD で公開されている。
