ReLay：理解を高めるためのパーソナライズされたLLM生成の平易な要約だが、代償は何か？

Abstract

平易な言葉による要約（PLS）は研究を一般の読者にとってアクセスしやすくすることを目指していますが、通常は読者の情報ニーズや理解度の違いを無視した、一律のスタイルで書かれています。健康の文脈では、この制約は特に重要です。なぜなら、科学的情報を誤解することが現実の意思決定に影響しうるからです。大規模言語モデル（LLM）はPLSを個別化する新たな機会を提供しますが、個別化が有効かどうか、どの戦略が最も効果的か、そして個別化と安全性のバランスをどう取るべきかは依然として不明です。私たちは、静的（専門家が執筆）および対話的（LLMが個別化）という両方の設定において、一般参加者50人から得た300の参加者--PLSペアからなるデータセットReLayを導入します。ReLayには、ユーザーの特性、健康情報ニーズ、情報探索行動、理解の成果、インタラクションのログ、品質評価が含まれています。私たちはReLayを用いて、2つの個別化手法にわたって5つのLLMを評価します。個別化は理解度と知覚される質を改善しますが、その一方で、ユーザーのバイアスを強化し、幻覚（ハルシネーション）を導入するリスクも高めます。これにより、個別化と安全性の間にトレードオフがあることが明らかになります。これらの結果は、多様な一般読者に対して効果的で信頼できる個別化手法が必要であることを示しています。