密なニューラルネットワークは万能近似器ではない

arXiv stat.ML / 2026/4/17

💬 オピニオンIdeas & Deep AnalysisModels & Research

共有:

要点

本論文は、従来の「万能近似」の直感に対し、重みやネットワーク次元に現実的な制約がある場合、密（全結合）ニューラルネットワークが万能近似器にはならないことを示します。
証明はモデル圧縮の発想に基づき、弱い正則化補題（weak regularity lemma）と、フィードフォワード・ネットワークをメッセージパッシング型のグラフニューラルネットワークとして解釈する枠組みを組み合わせています。
入出力次元と重み値に制約を課したReLUネットワークの設定で、こうした密なアーキテクチャでは近似できないLipschitz連続関数の存在を示します。
この結果は、密な層の内在的な限界を示し、「真の万能性」を得るには疎な結合（sparse connectivity）が必要な要素になり得ることを動機づけます。
全体として、本研究は近似能力がネットワークの大きさだけでなく、アーキテクチャ上の制約にも強く依存することを再定義します。

Abstract

本研究では、密なニューラルネットワークの近似能力を調べます。普遍近似定理は、重みの値に制約がないなら十分に大きなアーキテクチャによって任意の連続関数を近似できることを示しますが、我々は、密なニューラルネットワークがこの普遍性を持たないことを示します。我々の議論は、モデル圧縮アプローチに基づいており、弱い正則性補題と、フィードフォワードネットワークをメッセージパッシング型グラフニューラルネットワークとして解釈することを組み合わせます。入力・出力の次元および重みに関する自然な制約を受けるReLUニューラルネットワークを考えます。これは密な結合という概念をモデル化するものです。この枠組みのもとで、そのようなネットワークでは近似できないリプシッツ連続関数の存在を示します。これは、密な層を持つニューラルネットワークに固有の限界があることを明らかにし、真の普遍性を達成するための必要条件として疎な結合の利用を動機づけます。