連続またはマルチタスクの微調整（fine-tuning）をLLMに対して行う際、壊滅的忘却（catastrophic forgetting）は依然として根強い課題です。モデルは新しい領域（医療、法律、コードなど）に適応するにつれて、過去のタスクや一般的な知識における重要な能力を失うことがよくあります。
これは、勾配ベースの最適化が機能するという根本的な仕組みに起因しているように見えます。つまり、速い学習と長期的な統合（consolidation）との間に明示的な分離がないまま、新しい更新がそれまでの表現を上書きしてしまうのです。
（LoRA、リプレイバッファ、EWCなど）のような一般的な対策は一定の救いをもたらしますが、それぞれが独自のスケーラビリティ、コスト、効率のトレードオフを伴います。
私たちは、神経科学における相補的学習システムに着想を得た双メモリ・アーキテクチャを検討してきました（高速なエピソード記憶＋より遅い意味の統合）。標準的な連続学習ベンチマークでの初期実験では、保持（retention）が強い結果を示しました（連続分割で約98%）。さらに、保持で近いゼロまで落ちる基本的な標準勾配ベースラインと比べて、競争力のある精度を維持しています。
こちらは、（学習済みエンコーダによる）簡単な5テストのスナップショットです：
| Test | Metric | 本手法 | 勾配ベースライン | 差 |
|---|---|---|---|---|
| #1 連続（10シード） | Retention | 0.980 ± 0.005 | 0.006 ± 0.006 | +0.974 |
| #2 ワンショット k=1 | Accuracy | 0.593 | 0.264 | +0.329 |
| #3 新奇性検出 | AUROC | 0.898 | 0.793 | +0.105 |
| #5 長期的リコール | N=5000 におけるRecall | 1.000 | 0.125 | 8× |
なお、これはまだ初期段階の研究であり、多くの制約があります（例：純粋な特徴転移タスクでは弱い可能性など）。
コミュニティへの質問です。リプレイ／正則化以外で、LLMにおける連続学習において最も有望だと示されたアプローチは何でしょうか？ 記憶の分離（トレーニングの小技ではなく）というアーキテクチャ上の切り分けは実現可能な方向性なのでしょうか。また、実務的なマルチタスクLLMの作業において、壊滅的忘却は今日どの程度ボトルネックになっているのでしょうか？
この点についてのご意見を楽しみにしています。
[link] [comments]
