1つのペルソナ、複数の手がかり、異なる結果：社会人口学的手がかりがLLMパーソナライズに与える影響

arXiv cs.CL / 2026/4/27

💬 オピニオンIdeas & Deep AnalysisModels & Research

共有:

要点

この論文は、モデルに埋め込む「ペルソナ」（社会人口学的な属性）によるLLMパーソナライズが、ユーザー体験の向上につながる一方でバイアスや不公平な結果を増幅し得ることを検討しています。
従来研究で多かった「1つの手がかりだけでペルソナを喚起する」アプローチに対し、現実のやり取りではプロンプト文言が変わり得ることや、特定の手がかりが希少である点を無視しており、外的妥当性を損ねると指摘しています。
7つの公開・商用LLMに対し、6種類の一般的なペルソナ手がかりを、複数の文章・助言タスクで比較したところ、手がかり同士は全体として相関が高いにもかかわらず、ペルソナ間で応答に大きなばらつきが生じました。
その結果、ペルソナによって生じる差やバイアスに関する結論は、どの「単一の手がかり」を使うかによって変わり得るため、特に過度に明示的で現実に即していない手がかりでは注意が必要だとしています。
総じて、ペルソナ手がかりを1つだけ変える実験から強い主張を行うことには慎重であるべきだ、という提言です。

要旨: 社会人口統計上のサブグループごとにLLMをパーソナライズすることは、しばしばユーザー体験を向上させますが、同時にグループ間でバイアスや不公平な結果を導入したり増幅したりすることもあります。従来の研究では、いわゆるパーソナ（モデルに伝える社会人口統計属性としてのユーザー属性）を用いて、ユーザー名や属性の明示的な言及のように、単一の手がかりに依存してパーソナを促すことで、LLMのバイアスを調べてきました。しかしこれは、プロンプトの変化に対するLLMの感度や、実際のやり取りにおける一部の手がかりの希少性（外的妥当性）を無視しています。本研究では、4つの書き込みおよび助言タスクにおいて、7つの公開および独自のLLMに対し、一般的に用いられる6種類のパーソナの手がかりを比較します。手がかりは全体として高い相関を示すものの、パーソナ間で応答に相当な分散が生じ、その結果、パーソナによって生じる差異やバイアスに関する知見が変わり得ます。したがって、特にそれが過度に明示的であり外的妥当性が低い場合には、単一のパーソナの手がかりに基づく主張に対して注意を促します。