RLHFは重すぎると思ったら — 小さな“好みデータ”から始めるDirect Preference Optimization（DPO）入門
Zenn / 2026/3/16
💬 オピニオンIdeas & Deep AnalysisModels & Research
要点
- RLHFの計算コストとデータ要件の重さを指摘し、小さな好みデータから始めるDirect Preference Optimization（DPO）を提案する。
- DPOは好みデータを直接最適化指標として活用し、初期投資を抑えつつ性能向上を狙えるアプローチである。
- 実践的なワークフローとしてデータ収集、評価指標の設計、学習プロセスの順序を解説する。
- データ品質と評価設計の重要性が成果を左右する点や、DPOの利点と限界を整理している。
はじめに
ルミナイR&Dチームの栗原です。
「LLM に人間の好みを覚えさせる」と聞くと、多くの人が思い浮かべるのは RLHF（Reinforcement Learning from Human Feedback） です。
ざっくり言うと RLHF は、
まず Supervised Fine-Tuning（SFT）で「それっぽく」対話できるようにし
そのうえに 報酬モデル（Reward Model） を学習し
さらに PPO などの強化学習で「報酬モデルのスコアが高くなるように」微調整する
という、かなり重めのパイプラインです。
こうした背景の中で、Rafailov らの...
この記事の続きは原文サイトでお読みいただけます。
原文を読む →
