凍結されたエンコーダ-デコーダLLMのための訓練済み永続メモリ: 六つのアーキテクチャ手法

要約: 凍結されたエンコーダ-デコーダ言語モデルは状態を持たない（stateless）：潜在表現は各前方伝播の後に破棄されるため、セッションをまたいで情報は保持されない。本論文は \textbf{概念実証のパイロット研究} が凍結された LLM の \emph{連続潜在空間} における持続的メモリが実現可能であることを示している -- 極端なリソース制約下でも（単一の凍結済み Flan-T5-XL バックボーン、小さな訓練可能なアダプター、単一データセット）。我々は三つの挿入点と四つの書き込み機構を跨ぐ六つのアーキテクチャ手法を実装する；テキストレベルのメモリシステムとは異なり、すべての書き込みと読み出しは密なベクトル上の微分可能な演算である。アダプターのみを訓練した後、推論時には勾配なしにメモリバンクが蓄積を続け、 \emph{対話学習} を可能にする。忘却曲線評価を二つの容量スケール（1×および10×）で実施した LoCoMo において、状態を持たないベースラインは正確にゼロのスコアを記録する；10×では、訓練済みの六つのアダプターすべてが正の記憶再想起曲線を生み出す；1× では三つの方法が崩壊し、容量が重要な設計パラメータであることを明らかにする。メモリバンクはコンパクトな数値配列であるため、バックボーンを変更することなく任意に大きな容量へ拡張できる。我々は、より大きなモデル、より大きなデータ、桁違いに大きいメモリを用いた完全なエンドツーエンド訓練が、はるかに強力な結果をもたらすと主張する；このパイロット研究は、そのような取り組みが必要とする実現可能性のベースラインと設計空間の分類法を確立する。