KL最適化による微調整で、多ラウンドLLM生成における分布バイアスを制御する

Abstract

現実世界は本質的に確率的ですが、大規模言語モデル（LLM）は主に、固定された正解に対する単発の推論によって評価されています。本研究では、この観点を分布整合へと切り替えます。すなわち、LLMに対してプロンプトを繰り返し与えたとき、所望の目標分布、たとえば現実世界の統計を反映する分布や一様分布に従う出力を生成できるかどうかを評価します。私たちは、職業の文脈における属性（性別・人種・感情）を用いて分布整合を定式化します。実証分析の結果、市販のLLMや、プロンプト・エンジニアリングおよびDirect Preference Optimizationを含む標準的なアライメント手法では、出力分布を確実に制御できないことが明らかになりました。このギャップを埋めるために、Steering Token Calibrationとセマンティック整合を組み合わせた新しい微調整フレームワークを提案します。潜在するsteeringトークンの確率質量を固定するためにKullback-Leiblerダイバージェンスを用い、これらのトークンを意味的に一貫した応答へ結びつけるためにKahneman-Tversky Optimizationを用いる、ハイブリッドな目的関数を導入します。6つの多様なデータセットにわたる実験により、提案手法がベースラインを大きく上回り、属性生成タスクにおいて高精度な分布制御を達成することを示します。