Premier：テキストから画像生成における学習可能なユーザー埋め込みによるパーソナライズされた嗜好のモジュレーション

Abstract

テキストから画像を生成する技術は急速に進歩しているものの、ユーザーの嗜好に含まれる微妙なニュアンスを捉えることが依然として難しい状況です。既存の手法の多くは、多モーダルの大規模言語モデルを用いてユーザーの嗜好を推定しますが、そこから導出されるプロンプトや潜在コードは、嗜好を忠実に反映することがほとんどありません。その結果、パーソナライゼーションの品質が最適にならず、望ましい効果が得られません。私たちは、パーソナライズされた画像生成のための新しい嗜好モジュレーション枠組みである Premier を提案します。Premier は各ユーザーの嗜好を学習可能な埋め込みとして表現し、ユーザー埋め込みとテキストプロンプトを融合する嗜好アダプタを導入します。正確かつきめ細かな嗜好制御を可能にするため、融合された嗜好埋め込みをさらに生成プロセスのモジュレーションに用います。個々の嗜好の識別性を高め、出力とユーザー固有のスタイルとの整合性を改善するために、ユーザー埋め込み間の分離を強制する分散損失（dispersion loss）を組み込みます。ユーザーデータが乏しい場合には、新規ユーザーは、学習中に獲得された既存の嗜好埋め込みの線形結合として表現され、効果的な汎化が可能になります。実験の結果、Premier は同一の履歴長のもとで従来手法よりも優れており、より強い嗜好の整合性を達成し、テキスト一貫性、ViPer の代理指標、専門家評価において優れた性能を示します。