自己蒸留（場合によって）なぜLLMの推論能力を劣化させるのか？
arXiv cs.CL / 2026/3/26
💬 オピニオンIdeas & Deep AnalysisModels & Research
要点
- 本論文は、自己蒸留がLLMの性能を改善する場合を調査する一方で、とりわけ回答がより短くなり全体的な精度が低下する場合に、数学的推論が劣化し得ることを示す。
- 著者らは、この劣化の原因を、エピステミックな言語化の抑制、すなわち推論過程におけるモデルの不確実性の表現の抑制にあると考察している。
- 実験では、教師（teacher）をより豊かな情報で条件付けすると、不確実性の表現が減少し、それによってタスクのカバー範囲が限られた状況での高速なドメイン内最適化には役立つが、分布外（OOD）での汎化を損なうことが示される。
- 複数のモデル（Qwen3-8B、DeepSeek-Distill-Qwen-7B、Olmo3-7B-Instruct）にわたって、本研究は最大40%の性能低下を報告している。
- これらの知見は、頑健な推論には、事後学習（post-training）で正しい回答のトレースを強化するだけでなく、適切な不確実性の水準を維持することが重要だと強調している。
