SCM：大規模言語モデル向けのアルゴリズム的忘却を備えた睡眠統合メモリ

Abstract

本論文では、SCM（Sleep-Consolidated Memory）を提案します。これは、大規模言語モデル向けのメモリアーキテクチャに関する研究プレビューであり、神経科学の原理に基づいて、現在のシステムにおける根本的な制限—持続的で、構造化され、生物学的にもっともらしいメモリが存在しないこと—に対処します。既存のアプローチは、コンテキストウィンドウを切り詰めること、ベクトルデータベースを際限なく増やすこと、または統合や忘却の仕組みを欠く階層型ストレージシステムに依存しています。SCMは、人間の記憶から着想を得た5つの中核コンポーネントを実装します。それは、限られた容量のワーキングメモリ、重要度の多次元タグ付け、NREM相とREM相に分かれたオフライン睡眠段階の統合、価値に基づく意図的な忘却、そして内省を可能にする計算機的な自己モデルです。8つのテストからなる標準化されたベンチマークスイート全体で、プロトタイプは10ターンの会話にわたって完全な想起精度を達成し、適応的な忘却によってメモリノイズを90.9%削減します。記憶検索のレイテンシは、保存された概念が数百に及ぶ場合でも1ミリ秒未満に維持されます。本研究は、統合し、優先順位を付け、忘却するメモリシステムのためのアーキテクチャ上の基盤を確立し、LLMメモリ研究を前進させるための検証可能なプラットフォームを提供します。