人間のフィードバックに基づく個別化強化学習のためのスワップ誘導型嗜好学習

概要：Reinforcement Learning from Human Feedback (RLHF) は、人間の価値観と大規模AIシステムを調和させるための広く用いられているアプローチです。
しかし、RLHF は通常、単一の普遍的な報酬を前提としており、多様な嗜好を見落とし、個別化を制限します。
Variational Preference Learning (VPL) は、ユーザー固有の潜在変数を導入することでこれに対処しようとします。
その約束にもかかわらず、VPL は後方分布崩壊を生じることがあると分かりました。この現象は VAEs ではよく知られていますが、嗜好学習フレームワークではこれまで特定されたことはありませんでした。
希薄な嗜好データと過度に表現力のあるデコーダを用いると、VPL は潜在変数を無視させ、単一報酬モデルへと戻ってしまう可能性があります。
この限界を克服するために、Swap-guided Preference Learning（SPL）を提案します。
核心となるアイデアは、架空のスワップ注釈者を構築し、それらの嗜好の鏡像性を利用してエンコーダを導くことです。
SPL は3つの構成要素を導入します: (1) スワップ誘導型ベース正則化、(2) 嗜好性逆自己回帰フロー（P-IAF）、(3) 適応的潜在条件付け。
実験では、SPL が崩壊を緩和し、ユーザー固有の潜在変数を豊かにし、嗜好予測を改善することを示しています。
我々のコードとデータは https://github.com/cobang0111/SPL で利用可能です。