教師あり微調整における大規模言語モデルの多様性
arXiv cs.LG / 2026/5/4
📰 ニュースIdeas & Deep AnalysisModels & Research
要点
- この論文は、教師あり微調整（SFT）が大規模言語モデル（LLM）をユーザー意図に合わせるうえで重要である一方、多様な生成性が低下しやすいとしつつ、この現象の厳密な実証は十分でない点を指摘しています。
- 著者らは、多様性低下の主な要因として、微調整データ内で低頻度パターンが十分に扱われていないことと、事前学習で獲得した知識を忘れてしまうことの2点を挙げています。
- これらを理論的に分析したうえで、両方の課題を同時に解決するSFT用の新しい目的関数としてTemperd Focal（TOFU） lossを提案しています。
- 複数のモデルとベンチマークで大規模評価を行った結果、SFTにより生成の幅は狭まるものの、TOFUにより多様性が改善し、高い応答品質も維持されることを示しています。
- 全体として、本研究はSFTを行いつつ出力の多様性を大きく損なわないための、原理に基づく方法を提示しています。
