パラメータ重要度は静的ではない：教師あり微調整における進化するパラメータ分離

概要: 大規模言語モデルの教師ありファインチューニング（SFT）では、タスク干渉や壊滅的忘却がしばしば問題になります。近年の手法は、学習中にタスクにとって重要なパラメータを分離することでこの課題を緩和しています。しかし、これらの手法は動的な問題に対する静的な解決策であり、いったん重要性が特定されるとパラメータの重要性は固定されたままだと仮定しています。本研究では、学習の過程でパラメータの重要性が時間的にドリフトすることを、実験的に示します。これに対処するため、我々は、パラメータ重要性のオンライン推定に基づいて分離の判断を適応させるファインチューニング枠組みであるEvolving Parameter Isolation（EPI）を提案します。固定されたパラメータ部分集合を凍結するのではなく、EPIは勾配に基づく信号を用いて、分離マスクを定期的に更新します。これにより、新たにタスクにとって重要になっていくパラメータを保護しつつ、時代遅れになったパラメータを解放して可塑性を回復できます。多様なマルチタスクのベンチマークに対する実験により、EPIは静的な分離や標準的なファインチューニングと比べて、干渉と忘却を一貫して低減し、さらに全体としての汎化性能も向上することが示されます。分析からは、学習における多様な能力の変化するダイナミクスと分離メカニズムを同期させる必要性が浮き彫りになります。