MemoryCD：LLMエージェントの長期コンテキストにおけるユーザーメモリを、継続的なクロスドメイン個人最適化のためにベンチマークする

要旨: 大規模言語モデル（LLM）の最近の進展により、コンテキストウィンドウは数百万トークン規模まで拡張されていますが、記憶を評価するためのベンチマークは、短時間セッションの合成対話に限られているのが現状です。私たちは、Amazon Reviewデータセットにおける生涯にわたる実世界の振る舞いから導出された、最初の大規模かつユーザー中心で、領域横断型のメモリベンチマークである extsc{MemoryCD} を提案します。台本化されたペルソナを用いて合成のユーザーデータを生成する既存のメモリデータセットとは異なり、 extsc{MemoryCD} は複数の年にわたる、そして複数領域にまたがる、真正なユーザーの相互作用を追跡します。私たちは、12の多様な領域にまたがる、4つの異なるパーソナライゼーション課題に対して、6つのメモリ手法ベースラインと14の最先端のLLM基盤モデルからなる、多面的な長文脈メモリ評価パイプラインを構築しました。これにより、単一領域および領域横断の両方の設定において、エージェントが実際のユーザー行動をシミュレートする能力を評価します。分析の結果、既存のメモリ手法は、さまざまな領域においてユーザー満足からは大きくかけ離れていることが分かりました。さらに、領域横断の生涯にわたるパーソナライゼーション評価のための、最初のテストベッドを提供します。