TuneShift-KD：微調整済みモデル向けの知識蒸留と転送
arXiv cs.LG / 2026/3/26
💬 オピニオンSignals & Early TrendsIdeas & Deep AnalysisModels & Research
要点
- TuneShift-KDは、元の専門（特殊）データがプライバシー上または商用上の制約により利用できない場合に、微調整済みLLMから別の事前学習済みのターゲットモデルへ専門知識を転送するための新しい知識蒸留手法である。
- このアプローチは、パープレキシティを比較することで「専門的（specialized）」なプロンプトを特定する。具体的には、微調整済みモデルでパープレキシティが低い一方でベースモデルでパープレキシティが高いプロンプトを、学習された領域知識のシグナルとして扱う。
- それは、少数の代表的プロンプトのみから合成の学習データセットを自動構築し、その後、専門知識のカバレッジを拡張するために追加のプロンプトを反復的に生成する。
- TuneShift-KDは、初期の微調整済みモデルおよびベース／ターゲットモデルへのアクセスのみを必要とし、識別器などの追加コンポーネントの学習や、元の学習データセットへのアクセスを必要としない。
- TuneShift-KDに関して報告された実験結果では、先行する知識転送手法よりも精度が向上しており、新しいモデル・アーキテクチャへ専門知識をより容易に展開できることを支持している。
