概要:
大規模言語モデル（LLMs）は、対話を跨ぐパーソナライズをサポートするため、ますますユーザの嗜好を永続的な記憶に保存する。
しかし、社会的・制度的規範によって統治されるサードパーティーのコミュニケーション設定では、いくつかのユーザー嗜好を適用することが不適切な場合がある。
本研究では、メモリベースのユーザ嗜好が、さまざまなコミュニケーション文脈において適切に適用されるか、あるいは抑制されるかを評価する BenchPreS を紹介する。
2つの相補的指標、Misapplication Rate（MR）と Appropriate Application Rate（AAR）を用いて、最先端のLLMでさえ文脈に応じた嗜好の適用に苦戦していることが分かった。
嗜好の適合性が強いモデルは、過剰適用の割合が高くなることが示され、推論能力やプロンプトベースの防御だけではこの問題を完全には解決できない。
これらの結果は、現在のLLMがパーソナライズされた嗜好を文脈依存的な規範信号としてではなく、グローバルに適用可能なルールとして扱っていることを示唆している。
返却形式: {"translated": "翻訳されたHTML"}
BenchPreS: 永続メモリを備えたLLMにおける文脈認識型の個人化嗜好選択性のベンチマーク
arXiv cs.AI / 2026/3/18
📰 ニュースIdeas & Deep AnalysisModels & Research
要点
- BenchPreSは、永続メモリを備えたLLMにおいて、メモリベースのユーザー嗜好が異なるコミュニケーション文脈に適切に適用されるかどうかを評価するベンチマークを導入します。
- 嗜好が誤用される場合や正しく抑制される場合を定量化する、誤適用率（MR）と適切適用率（AAR）の2つの補完的な指標を用います。
- 研究は、最先端のLLMが文脈依存的に嗜好を適用することに苦戦しており、嗜好の遵守を強めると時として過剰適用が生じることを示しています。
- 高度な推論能力やプロンプトベースの防御策も、ミスマッチを完全には解消せず、嗜好が文脈依存の信号としてではなく、グローバルに適用される規則として扱われていることを示唆しています。
- 結果は、メモリ機能を備えたLLMにおける個人嗜好の整合性を向上させるための戦略と、規範的なガイダンスが必要であることを示しています。
