StratMem-Bench：事実の想起を超えたバーチャルキャラクター会話における戦略的メモリ活用の評価

要旨: 仮想キャラクターによる現実的で人間らしい会話を実現するには、過去の出来事を単に記憶し想起するだけでなく、事実に関する要請や社会的な関与を満たすために、戦略的に記憶を活用することも必要です。関連する現在のメモリ活用（例: メモリ拡張生成、長期対話など）ベンチマークは、このニュアンスを見落としており、記憶を会話の中で戦略的に投入される動的な資源というよりも、主として事実の静的なリポジトリとして扱っています。そこでこのギャップに対処するため、キャラクター中心の対話における戦略的な記憶利用を評価する新しいベンチマーク StratMem-Bench を設計します。このデータセットは 657 インスタンスからなり、仮想キャラクターは必要な記憶・支援的な記憶・無関係な記憶を含む異種のメモリプールを切り分けてナビゲートする必要があります。また、仮想キャラクターの戦略的な記憶利用能力を評価するために、Strict Memory Compliance（厳格な記憶コンプライアンス）、Memory Integration Quality（記憶統合品質）、Proactive Enrichment Score（主動的な充実度スコア）、Conditional Irrelevance Rate（条件付き無関係率）を含む異なる評価指標の枠組みも提案します。仮想キャラクターとして最先端の大規模言語モデルを活用して行った StratMem-Bench に関する実験では、すべてのモデルが必要な記憶と無関係な記憶の識別においては良好に機能する一方で、支援的な記憶が意思決定プロセスに導入されると困難に直面することが示されます。