NextMem: LLMベースのエージェントのための潜在的事実メモリへ向けて

要旨: 過去の観測を将来の意思決定のために保存することは、LLMベースのエージェントにとって極めて重要であり、事実記憶がその基盤となります。しかし、事実記憶を構築する既存のアプローチにはいくつかの限界があります。テキストベースの手法は重い文脈とインデックス作業の負担を課し、パラメトリック手法は壊滅的忘却と高コストに悩まされます。これらの課題に対処するため、自己回帰型オートエンコーダを利用して潜在記憶を効率的に構築し、同時に正確な再構成を保証する潜在的事実記憶フレームワークであるNextMemを導入します。最適化をさらに向上させるため、自己回帰再構成の整合と漸進的潜在置換を含む2段階の訓練プロセスを提案します。ストレージのオーバーヘッドを削減するために量子化を組み込みます。大規模な実験により、NextMemが優れた性能を達成し、検索能力・頑健性・拡張性の特性に優れていることを示しています。コードとモデルのチェックポイントを以下のURLで公開します。https://github.com/nuster1128/NextMem。