多くの嗜好、少ない方針：スケーラブルな言語モデルのパーソナライズに向けて
arXiv cs.CL / 2026/4/7
📰 ニュースIdeas & Deep AnalysisModels & Research
要点
- 本論文は、ユーザごとの真のLLMパーソナライズはコストが高すぎると主張し、その代わりに、ユーザの多様な嗜好をカバーする小さなLLMのポートフォリオを用いることを提案する。
- 安全性、ユーモア、簡潔さといった複数の嗜好特性を、多重特性の嗜好モデルとして重みベクトルで表現し、これらの次元にまたがる報酬関数を用いてパーソナライズされた目的関数を定義する。
- 提案手法であるPALM（Portfolio of Aligned LLMs）は、嗜好の重みベクトルがどのようであっても、その対応するスカラー化された目標に対してほぼ最適なモデルがポートフォリオ内に含まれるように、小さな集合のLLMを選択する。
- 本研究は、ポートフォリオのサイズと近似品質の両方について理論的な保証を与え、コストとパーソナライズのトレードオフ、および必要となるモデルの多様性を明示的に特徴づけると主張する。
- 実験により理論結果を検証し、一般的なベースラインと比較して出力の多様性が向上することを示す。
