小規模言語モデルにおけるSFT-DPOの相互作用とパラメータ化に関する経験的研究

要旨: 直接的な好み最適化 (DPO) は、言語モデルを整合させるために監督付きファインチューニング (SFT) の後によく用いられますが、小規模なバックボーンと控えめなデータ量の下での経験的挙動は十分には規定されていません。私たちは、SFTのみ、DPOのみ、そして段階的なSFTからDPOへの訓練を、GPT-2スケールのデコーダー上でのFFT（全ファインチューニング）対LoRAと比較し、パラフレーズ検出とシェイクスピア風ソネットの継続を評価します。DPOは、強力なSFTに対して小さなタスク依存的な利得を生み出し、好みの構築が監督された目的と密接に平行する場合、ウォームスタートなしでも競争力のあるSFTの精度に匹敵することがあります。一方、パラメータ化は支配的です：訓練深度が一致する場合、FFTはLoRAを一貫して上回り、LoRAは私たちのハードウェア上で実行時間を短縮しません。これらの知見は、この小規模な領域では、監督付き全パラメータ適応が依然として主要な性能推進力であり、好みの最適化と低ランク適応は限定的な限界リターンしかもたらさないことを示しています。」} <= 1) Use newline escape for readability. 2) The content is kept faithful to the original. 3) Tags are preserved as-is. 4) Output is a JSON object with the translated HTML. If you need any adjustments to terminology or tone, let me know. />}}=json_pc 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0