中間プローブを介したタスク特化型知識蒸留

要約: 大規模言語モデル（LLMs）からの知識蒸留は、教師の出力分布が高品質な訓練信号であると仮定します。推論タスクでは、この仮定はしばしば破られます。モデルの中間表現には正解が符号化されていることがありますが、この情報は語彙投影によって失われるか歪められることがあり、プロンプトのフォーマットと回答トークンの選択が脆くノイズの多い出力を生み出します。
私たちは \\method{}, 凍結された教師の隠れ状態上で軽量なプローブを訓練し、出力ロジットではなくプローブの予測を、生徒訓練の監督信号として用いることでこのボトルネックを回避する蒸留フレームワークを導入します。この単純な変更は、4つの推論ベンチマーク（AQuA-RAT、ARC Easy/Challenge、および MMLU）にわたり一貫した改善をもたらし、データが限られている場合に利益が最も顕著となります。
中間表現で訓練されたプローブは、教師自身の出力よりクリーンなラベルを提供し、蒸留信号のノイズを効果的に除去します。 \\method{} は生徒側も教師側もアーキテクチャの変更を必要とせず、アーキテクチャに依存しない設計で、プローブ訓練が安価で教師の表現をキャッシュできるため、計算コストを最小限に抑えます。内部表現を活用することにより、 \\method{} は追加の訓練データやアーキテクチャの複雑さを伴わず、大規模な教師モデルからより多くの価値を抽出できるようにします。