要旨: スーパーバイズド・ファインチューニング（SFT）は、LLMのポストトレーニングにおける一般的な最初の段階であり、モデルに指示に従うことを教え、有能なアシスタントとして振る舞うように挙動を形成します。同時に、SFTはLLMの基本的な能力を損なう可能性があり、特に長い事前学習の後ではその傾向が強まります。これは、壊滅的オーバートレーニング（catastrophic overtraining）と呼ばれる現象です（Springer et al., 2025）。オーバートレーニングを理解するために、まず、学習率の暗黙の正則化という観点から、ファインチューニングにおける壊滅的忘却を調べます。同じSFT損失で訓練されたモデルに対して、学習率が最適化をどのように仲介するかを特定します。すなわち、大きなステップと小さなステップでファインチューニングすると、収束した結果として定性的に異なるモデルになることを示します。次に、忘却とオーバートレーニングを結びつけます。学習率の減衰は、事前学習済みモデルの鋭さ（sharpness）を高め、それによってSFT中の壊滅的忘却をさらに悪化させ、結果としてオーバートレーニングにつながることを示します。これらの結果は、LLMにおけるオーバートレーニングの仕組みの全体像を描き出すとともに、事前学習とファインチューニングの間の最適化ダイナミクスの相互作用の理解に広く貢献します。
（どのように）学習率は壊滅的な過学習を制御するか
arXiv cs.LG / 2026/4/16
💬 オピニオンIdeas & Deep AnalysisModels & Research
要点
- 本論文は、教師あり微調整（SFT）が「壊滅的な過学習」を引き起こし得ることを検討し、長期間の事前学習後にLLMの基盤となる能力が劣化する可能性を示す。
- それは、暗黙的な学習率の正則化という観点から、微調整中に起こる壊滅的忘却を分析し、同じSFT損失に最適化している場合でも、大きい学習率ステップと小さい学習率ステップでは、モデル挙動が質的に異なるところへ収束し得ることを示す。
- 著者らは、忘却を過学習と結びつけることで、学習率減衰が事前学習済みモデルの「鋭さ（シャープさ）」を高め、その結果としてSFT中の壊滅的忘却を悪化させると主張する。
- 全体として、本研究は、事前学習と微調整にまたがる最適化ダイナミクスが相互作用して過学習を生み出すメカニズムを説明することを提案する。
