ロジット空間におけるシャープネス認識最小化がDirect Preference Optimizationを効率的に強化する

要約: Direct Preference Optimization (DPO) は、そのシンプルさとトレーニングの安定性のおかげで、人間の好みに合わせて事前学習済みの大規模言語モデルを整合させるための人気のあるアルゴリズムとして浮上しています。しかし、DPO は最近特定された絞り込み効果（別名「尤度の変位」）に悩まされており、学習中に好ましい応答の確率が意図せず低下します。この現象を理解し緩和するために、対数ロジット空間における座標ごとのダイナミクスをモデル化する理論的枠組みを開発します。 私たちの分析は、負の勾配の更新が高い曲率方向に沿って残差を急速に拡大させ、これが絞り込み効果の根底にあることを明らかにします。一方、Sharpness-Aware Minimization (SAM) はその曲率正則化効果を通じてこの挙動を抑制することができます。 この洞察に基づき、出力層のみを僅かなオーバーヘッドで攪乱する計算効率の高い派生形である logits-SAM を検討します。 Pythia-2.8B、Mistral-7B、Gemma-2B-IT の複数のデータセットとベンチマークにまたがる広範な実験は、logits-SAM が DPO の有効性を一貫して向上させ、他の DPO バリアントと整合的に統合されることを示しています。 コードは https://github.com/RitianLuo/logits-sam-dpo にあります。