反復ファインチューニングは概ね冪等である

概要: モデルに、迎合（sycophancy）や不整合（misalignment）のような何らかの行動上の傾向があり、そのモデルが自分自身の出力で学習されると、次の世代のモデルにおいてその傾向は増幅されるのでしょうか？ 私たちは、この問いを、各モデルがその前身のモデルによって生成されたデータで微調整される一連のモデルを学習することで調べます。そして初期モデルには、ある種のパーソナや信念を与えてシードします。私たちは3つの設定を検証します：命令モデルに対する教師あり微調整（SFT）、ベースモデルに対する合成文書微調整（SDF）、および直接選好最適化（DPO）です。SFTおよびSDFの設定では、特性は主に減衰するか一定のままであり、そのため追加の微調整サイクルは何も起こしません。増幅が生じる稀な場合には、それは一般にコヒーレンス（整合性）の犠牲を伴います。DPOの設定では、モデルが自身の出力に対する選好を持って継続的に学習される場合に、特性の増幅が確実に起こり得ますが、各サイクルごとにモデルを再初期化すると、その増幅は消失します。全体として、私たちの結果は、増幅は主に継続的な事後学習（continual post-training）から生じる可能性が高く、この段階を制限することが効果的な防御になり得ることを示唆しています。RL以外の微調整では、特性の増幅はまれであり、データ量に非常に敏感です。そのため、偶然に起こる可能性は大幅に低くなります。最後に、増幅とコヒーレンスのトレードオフは、特性の増幅に対する自然な抑止力として機能します。