ゼロリーク再構成ルーティングと自律的タスク発見によるモジュール型継続学習

arXiv cs.LG / 2026/4/17

📰 ニュースIdeas & Deep AnalysisModels & Research

共有:

要点

この論文は、タスク順次学習における壊滅的忘却（catastrophic forgetting）を、タスク固有のエキスパートと分散型ゲートキーパーによって構造を分離するモジュール型ニューラルアーキテクチャで解決することを目指しています。
「Simultaneous Pipeline」として、教師学習・生徒の蒸留・ルータのマニフォールド獲得を並列に行い、局所的な学習セッションでは生データを用いつつ、タスク学習後に生データを削除してGDPRなどのプライバシー要件に対応するとしています。
Tight-Bottleneck Autoencoder（TB-AE）により、高次元潜在空間で意味的に混み合うマニフォールドを分離し、従来の変分手法で起きがちなポスターリオ崩壊を回避することを提案しています。
厳密な位相的境界を導入することで、4096次元のLLM埋め込みにおける潜在空間の混雑（crowding）を改善し、教師なしの頑健な新規性シグナルにつなげると主張しています。
「Autonomous Retrieval」で戻ってくるマニフォールドを自信をもって検出して冗長なモジュール生成を抑え、さらに「Live Distillation」が自然な正則化として機能し、CVとNLPの領域で生徒の忠実度ギャップなしに保持性能を高めると検証しています。

Abstract

記憶の壊滅的忘却（catastrophic forgetting）は、人工ニューラルネットワークにおける逐次タスク学習の主要な障害として残っています。本研究では、タスク固有の専門家（Task-Specific Experts）と、分散された外れ値ベースのゲートキーパー（distributed, outlier-based Gatekeeper）を用いることで、構造パラメータの隔離を達成するシリコンネイティブのモジュラー・アーキテクチャを提案します。従来の逐次的な統合（consolidation）を超えて、本枠組みは、教師学習、学生の蒸留（Student distillation）、およびルーターマニフォールドの獲得（Router manifold acquisition）を並列で行う「同時パイプライン（Simultaneous Pipeline）」を利用します。さらに、この並列学習は、学習用のローカルなセッションに生データが存在している間に実行されます。このアプローチにより、あるタスクが学習されたら直ちに生データを削除することで、計算効率を保証しつつ、GDPRのようなプライバシー要件にも準拠します。タイト・ボトルネック・オートエンコーダ（Tight-Bottleneck Autoencoder: TB-AE）が、高次元潜在空間における意味的に混雑したマニフォールドを効果的に識別でき、標準的な変分手法に固有の事後崩壊（posterior collapse）を克服できることを示します。厳密な位相的境界を設定することで、TB-AEは、4096-DのLLM埋め込みにおける潜在空間の混雑（latent space crowding）を解消し、頑健な教師なしの新規性シグナルを提供します。さらに、再帰して戻ってくるマニフォールドを確信をもって識別できる、自律的リトリーバル（Autonomous Retrieval）メカニズムを検証し、冗長なモジュールの再生成（instantiation）を伴わない、安定した生涯学習（lifelong learning）を可能にします。実験結果は、私たちの「Live Distillation」アプローチが自然な正則化（regularizer）として機能し、学生の忠実度ギャップ（student fidelity gap）に悩まされることなく、コンピュータビジョンおよび自然言語処理の領域において強い保持（retention）を達成することを示しています。