RLHFは重すぎると思ったら — 小さな“好みデータ”から始めるDirect Preference Optimization（DPO）入門

はじめに ルミナイR&Dチームの栗原です。 「LLM に人間の好みを覚えさせる」と聞くと、多くの人が思い浮かべるのは RLHF（Reinforcement Learning from Human Feedback） です。 ざっくり言うと RLHF は、 まず Supervised Fine-Tuning（SFT）で「それっぽく」対話できるようにし そのうえに 報酬モデル（Reward Model） を学習し さらに PPO などの強化学習で「報酬モデルのスコアが高くなるように」微調整する という、かなり重めのパイプラインです。 こうした背景の中で、Rafailov らの...