忘却を学ぶ: 大規模言語モデルにおける前向き干渉を解消する睡眠由来の記憶統合

要旨: 大規模言語モデル（LLMs）は前向き干渉（PI）に悩まされる。文脈ウィンドウ内の時代遅れの情報が現在の値の検索を妨げる。この干渉は、古くなった連想が蓄積するにつれて検索精度を対数的に低下させ、文脈長に関係なくボトルネックとなり、プロンプトエンジニアリングによる緩和策にも抵抗する。生物学的な脳は、睡眠依存的な記憶の統合を通じて類似の課題を解決する。シナプスのダウンスケーリング、選択的リプレイ、そして標的忘却。私たちは SleepGate を提案します。これは、トランスフォーマー型LLMs を、キー・値（KV）キャッシュ上の学習済み睡眠サイクルで拡張する、生物学的に着想を得たフレームワークです。SleepGate は3つのメカニズムを導入します：(1) 新しいエントリが古いエントリを上回るときに検出する、競合を認識した時系列タグ付け機構；(2) 老朽化したキャッシュエントリを選択的に追い出すまたは圧縮するよう訓練された軽量な忘却ゲート；(3) 生存エントリを凝縮し、コンパクトな要約に統合する統合モジュール。これらのコンポーネントは、推論中の睡眠マイクロサイクルの間に定期的に作動し、適応的エントロピーに基づくトリガーによって制御されます。覚醒フェーズでの言語モデリングと睡眠フェーズでの統合後の検索を共同で最適化する、二相トレーニング目的を定式化します。理論分析は、SleepGate が干渉の範囲を O(n) から O(log n) に低減することを示します。4層、793Kパラメータの小規模トランスフォーマーを用いた実験では、SleepGate は PI 深さ5 で 99.5% の検索精度、深さ10 で 97.0% を達成しました。 一方、全5つのベースライン――全KVキャッシュ、スライディングウィンドウ、H2O、StreamingLLM、減衰のみのアブレーション――はいずれも 18% を下回りました。私たちのフレームワークは、プロンプトエンジニアリングでは対処できないアーキテクチャレベルの解決策を提供します。