ポストトレーニング後、出力多様性はどこで崩壊するのか？

要旨: 後学習（post-trained）の言語モデルは、基となるモデルに比べて出力の多様性が低くなります。この出力多様性の崩壊は、ばらついたサンプルに依存する推論時のスケーリング手法を損ない、創造的で価値観の関わるタスクにおいてモデル出力を同質化するリスクを伴います。先行研究では、崩壊を特定の後学習手法に帰していますが、手法とは切り離して学習データの構成の役割を分離しておらず、また生成フォーマットとモデル重みの関係も分離できていません。私たちは、Olmo 3、Think（chain-of-thought蒸留）、Instruct（幅広い複数ソースのデータ）、RL-Zero の3つの並行する後学習系統に沿って、15のタスクと4つのテキスト多様性指標のもとで出力多様性を追跡します。その結果、崩壊の生じる位置はデータ構成と共変することが分かりました。すなわち、Think 系統では教師あり微調整（supervised fine-tuning）でほとんどの意味的多様性を失い、また DPO の効果は Think よりも Instruct において大きいのです。Think モデルにおいて推論時に chain-of-thought 推論を抑制すると、難しいタスクで精度は低下するものの、答え（answer）レベルの多様性は変わりません。これは、崩壊が生成フォーマットによって課されるのではなく、学習データによってモデル重みに埋め込まれていることを示しています。6つの検証可能なタスクにおける多様性喪失を、品質管理成分（誤った出力の除去）と残差成分（正しい出力間での真の狭まり）に分解すると、その分け方はタスク依存的であり、集計上はより多く崩壊しているにもかかわらず、Think モデルは Instruct よりも正解の多様性をより多く保持していることが明らかになります。以上の結果は、多様性の崩壊がデータ構成によって学習中に決定され、推論時だけでは対処できないことを示しています。