FSPO：合成嗜好の少数ショット最適化が実ユーザーへパーソナライズされる

要旨: LLMの効果的なパーソナライズは、バーチャルアシスタントやコンテンツキュレーションといった幅広いユーザー向けアプリケーションにとって重要です。LLMの強力なインコンテキスト能力に触発されて、我々は、報酬モデリングをメタラーニング問題として捉え直す、LLMパーソナライズのためのアルゴリズムであるfew-shot preference optimization（FSPO）を提案します。FSPOでは、LLMが少数のラベル付き嗜好（prefered）を通じて、ユーザーに対するパーソナライズされた報酬関数を素早く推論することを学習します。FSPOはさらに、ユーザー記述の合理化（RAT）を利用して、より良い報酬モデリングと指示追従を促し、オラクルとなるユーザー記述によって性能を回復します。現実世界の嗜好データは大規模に収集することが困難であるため、パーソナライズのための合成嗜好データセットを構築するための慎重な設計選択を提案し、公に利用可能なLLMを用いて1M件を超える合成パーソナライズ嗜好を生成します。合成データから実ユーザーへうまく移行させるためには、データが高い多様性と、首尾一貫した自己整合的な構造の両方を示すことが重要であることを我々は見出しています。3つの領域（映画レビュー、教育、オープンエンドの質問応答）において、最大1,500人の合成ユーザーに対するパーソナライズされたオープンエンド生成でFSPOを評価します。また、統制された人手による調査も実施します。総じて、FSPOは、合成ユーザー向けにパーソナライズされた応答生成においてAlpaca Evalで87%の勝率を達成し、オープンエンドの質問応答において実の人間ユーザーに対しては70%の勝率を達成します。