VehicleMemBench：車載エージェントにおけるマルチユーザーの長期記憶のための実行可能ベンチマーク

要旨: 車載インテリジェント体験に対する需要が高まるにつれ、車両ベースのエージェントは単なるアシスタントから長期的な伴侶へと進化しています。この進化には、エージェントが複数ユーザーの嗜好を継続的にモデル化し、ユーザー間の嗜好の競合や時間経過による習慣の変化の中でも確実な意思決定を行うことが必要です。しかし、既存のベンチマークは主に単一ユーザーの静的な質問応答設定に限られており、嗜好の時間的な進化や、実際の車載環境における複数ユーザーかつツールと相互作用する性質を捉えられていません。このギャップを埋めるために、実行可能な車載シミュレーション環境に基づく、複数ユーザーのロングコンテキスト・メモリベンチマークであるVehicleMemBenchを提案します。このベンチマークは、行動後の環境状態をあらかじめ定義された目標状態と比較することで、ツールの使用とメモリを評価し、LLM（大規模言語モデル）ベースまたは人手による採点なしで、客観的かつ再現可能な評価を可能にします。VehicleMemBenchには23のツールモジュールが含まれており、各サンプルには80件超の履歴メモリイベントが含まれます。実験の結果、強力なモデルは直接の指示タスクでは良好に機能する一方で、特にユーザーの嗜好が動的に変化する場合、メモリの進化を伴うシナリオでは困難に直面することが示されました。さらに、この環境におけるドメイン固有のメモリ要件を扱う点では、高度なメモリシステムでさえも苦戦します。これらの知見は、現実の車載システムにおける長期的な適応的意思決定を支えるために、より堅牢で専門化されたメモリ管理メカニズムが必要であることを示しています。今後の研究を促進するため、データとコードを公開します。