ダイナミックな個別嗜好を実現：ペア化したファインチューニングによる対立する人間の価値の解決
arXiv cs.CL / 2026/4/15
💬 オピニオンIdeas & Deep AnalysisModels & Research
要点
- 論文では、多様で矛盾し、かつ時間とともに変化する嗜好を持つ個人向けにLLMをパーソナライズするための「Preference-Paired Fine-Tuning（PFT）」を提案する。
- 人間の嗜好が対立するシナリオを収録した新しい評価データセット「Value Conflict Dilemma（VCD）」を導入し、モデルがトレードオフをどれだけ適切に扱えるかを検証する。
- 実験の結果、PFTは単一嗜好での学習より性能が向上し、DPOやSFTを含む手法よりも優れている。マルチ選択分類で最大96.6%の精度を達成し、オープンエンド生成では8.69のスコアを得る。
- ユーザ履歴が限られている場合でも、PFTはユーザ固有の嗜好ベクトルを素早く推定でき、単一嗜好モデルに対してアライメントが44.76%改善する。
- 全体として、本研究は、対立を解消するためのペア化された嗜好シグナルを用いた、構造化されたファインチューニング問題として嗜好パーソナライズを位置づけている。
