訓練後の忘却の定量的特徴付け

要旨：生成モデルの継続的な訓練後の学習は広く用いられているが、忘却がいつ、なぜ起こるのかについて原理的な理解は依然として限られている。我々は、Chen ら（2025）（arXiv:2510.18874）によって提案された、古いタスクと新しいタスクを表す二モード混合の抽象化の下で理論的な結果を展開し、忘却を二つの形態として正式に定義する。すなわち (i) 質量忘却：古い混合重みがゼロに崩壊する場合、(ii) 古成分ドリフト：訓練中にすでに正しい古い成分が移動する場合。共分散が等しい Gaussian モードにおいて、新しい分布データ上で訓練される前方KL（forward-KL）の目的は古い重みをゼロへ押しやる一方、逆KL（reverse-KL）の目的は真のターゲットへ収束して質量忘却を回避し、古い平均は重なりでゲートされる誤割り当て確率を介してのみ摂動される。これらの確率は Bhattacharyya係数によって制御され、モード分離が大きくなるにつれてドリフトは指数関数的に減衰し、指数収束を伴う局所的に良好に条件づけられた幾何構造を持つ。さらに、リプレイがこれらの目的とどのように相互作用するかを定量化する。前方KLの場合、リプレイは母集団最適解を変えるには訓練分布を修正する必要がある。逆KLの場合、リプレイは母集団目的を変更せず、有限バッチの古いモード飢餓を有界な重要度重み付けを通じて防ぐ。最後に、SDFT（arXiv:2601.19897）、TTT-Discover（arXiv:2601.16175）、OAPL（arXiv:2602.19362）の3つの最近提案されたほぼオンポリシーのポスト訓練手法を同じ視点で分析し、それぞれが古い質量を保持する条件と重なり制御されたドリフトを示す条件を明示的に導出する。全体として、私たちの結果は、忘却は発散方向、幾何学的挙動の重なり、サンプリング・レジーム、および訓練中の過去の挙動の可視性との相互作用により、厳密に定量化できることを示している。