ニューラルネットにおける同時の一般化と記憶のためのルール・アンド・ファクト（RAF）モデル

arXiv stat.ML / 2026/3/27

💬 オピニオンIdeas & Deep AnalysisModels & Research

共有:

要点

論文は、ニューラルネットが「規則（ルール）」を学習しつつ「例外的な事実（ファクト）」を同時に記憶できる現象を、理論的に最小で解ける設定としてRAF（Rules-and-Facts）モデルで定式化する。
学習データは、(1-ε)が構造化された教師ルールで生成され、εがランダムラベルの非構造的ファクトから成る混合としてモデル化され、学習者がルールを復元して新規データへ一般化しながら、ランダム例も記憶できる条件を解析する。
過パラメータ化により、十分な過剰容量がメモリ（memorization）を可能にし、同時に規則学習（generalization）との容量配分が可能になる点を、容量と正則化の役割として定量化する。
正則化やカーネル/非線形性の選択が、ルール学習とメモリのどちらに容量が割り当てられるかを制御することを示し、現代NNの「構造推論」と「圧縮できない情報の保存」の理解に理論的土台を与える。

要旨: 現代のニューラルネットワークの重要な能力の1つは、基礎となる規則を同時に学習しつつ、特定の事実や例外を記憶することができる点にある。しかし、この二重の能力に関する理論的理解は依然として限定的である。私たちは、学習の統計物理学における2つの古典的な研究系統をつなぐことで、この現象を厳密に特徴づけることを可能にする、最小で解ける設定としてRules-and-Facts（RAF）モデルを導入する。RAFモデルは、一般化のための教師-生徒（teacher-student）枠組みと、記憶のためのGardner型の容量解析という2つの枠組みを橋渡しする。RAFモデルでは、学習ラベルのうち分数 $1 - \varepsilon$ は構造化された教師の規則によって生成され、一方分数 $\varepsilon$ はランダムなラベルを伴う非構造化の事実からなる。学習者が、基礎となる規則を同時に復元できる条件――つまり新しいデータへの一般化を可能にする条件――と、非構造化の例を記憶できる条件を特徴づける。私たちの結果は、過剰パラメータ化がこれら2つの目的の同時達成をどのように可能にするかを定量化する。十分な余剰容量は記憶を支える一方で、正則化やカーネル、あるいは非線形性の選択が、規則学習と記憶の間で容量をどのように配分するかを制御する。RAFモデルは、現代のニューラルネットワークが、まれな、あるいは圧縮不可能な情報を保存しながら構造を推論しうることを理解するための理論的基盤を提供する。