BeliefShift：LLMエージェントにおける時間的信念整合性と意見ドリフトのベンチマーク
arXiv cs.CL / 2026/3/26
📰 ニュースSignals & Early TrendsIdeas & Deep AnalysisModels & Research
要点
- 本論文は、現在のLLMエージェントのメモリベンチマークがユーザ情報を静的な事実として扱う一方で、実際のユーザは長期のやり取りの中で考えを変えるため、意見ドリフトや確証バイアスといった信念ダイナミクスを評価することが重要だと主張する。
- BeliefShiftは、縦断的かつ人手アノテーションによるベンチマークとして導入されており（2,400件のマルチセッション軌跡）、Temporal Belief Consistency、Contradiction Detection、Evidence-Driven Revisionの3つのトラックに焦点を当てている。対象ドメインは健康、政治、個人の価値観、製品嗜好などである。
- 著者らは、GPT-4o、Claude 3.5 Sonnet、Gemini 1.5 Pro、LLaMA-3、Mistral-Largeを含む7つのLLMを、ゼロショットとRAGの両設定で評価し、「ドリフトに抵抗する過度に積極的なパーソナライズ」と「根拠に基づくモデルが正当な信念更新を行えない」というトレードオフを見出す。
- 新たに4つの指標—Belief Revision Accuracy（BRA）、Drift Coherence Score（DCS）、Contradiction Resolution Rate（CRR）、Evidence Sensitivity Index（ESI）—が、信念変化行動の異なる側面を測るために提案される。
- ベンチマークと指標は、単に格納された事実を想起できるかどうかではなく、LLMエージェントが時間とともにどのように信念を修正するかをより適切に定量化することを目的としている。
