実務的観点からチェーン・オブ・ソート蒸留におけるキャパシティ・ギャップを再検討する
arXiv cs.LG / 2026/4/13
💬 オピニオンIdeas & Deep AnalysisModels & Research
要点
- 本論文は、チェーン・オブ・ソート（CoT）蒸留において以前報告された「キャパシティ・ギャップ」問題を再検討し、教師と生徒の能力の不一致が蒸留結果にどのように影響するかに焦点を当てる。
- CoT蒸留は、生徒が蒸留前に持っていたベースライン性能に比べてしばしば性能を低下させ得ること、そしてこの低下は、研究が蒸留後の比較のみを報告する場合には見えにくくなりがちであることを見出す。
- 著者らは、ベースラインの回帰（悪化）をより適切に捉え、キャパシティ・ギャップの影響を観測しやすくするための、より現実的な評価プロトコルを提案する。
- キャパシティ・ギャップの影響は、すべてのタスク／設定に一様に支配的に現れるわけではなく、特に候補となる教師の性能が大きく異なる場合には、軽減または調整できると結論づける。
- 本研究は、より信頼性の高いCoT蒸留結果を得るために教師—生徒の組を選ぶ際の実務的な指針を提供する。
