継続的ライフログ・シナリオにおけるメモリ能力の評価

要旨: 今日では、ウェアラブルデバイスによって周囲の会話を継続的にライフログ化できるようになり、メモリシステムに対して大きな機会が生まれています。しかし、既存のベンチマークは主としてオンラインの1対1チャットや人間—AI間のインタラクションに焦点を当てているため、現実世界のシナリオに固有の要求が見落とされています。公開されているライフログ音声データセットの入手が限られていることを踏まえ、本研究では階層的合成フレームワークを提案し、
\textbf{\textsc{LifeDialBench}} を構築します。これは、2つの補完的なサブセットからなる新しいベンチマークです。すなわち、実世界のエゴセントリック動画に基づく
\textbf{EgoMem} と、シミュレートされた仮想コミュニティを用いて構築する \textbf{LifeMem} です。重要なのは、従来のオフライン設定における時間的リークの問題に対処するため、厳密に時間的因果関係に従う
\textbf{オンライン評価} プロトコルを提案し、システムを現実的なストリーミングの形で評価できるようにする点です。実験結果は、直感に反する発見を示しています。すなわち、現在の洗練されたメモリシステムは単純なRAGベースラインを上回ることに失敗しています。これは、現在のアプローチにおける過剰に設計された構造やロスの大きい圧縮が有害に働くことを示しており、ライフログのシナリオにおいては高忠実度な文脈の保持が必要であることを強調しています。コードとデータを https://github.com/qys77714/LifeDialBench で公開します。