深いネットワークにおける幾何学的層別近似レート

arXiv cs.LG / 2026/4/23

📰 ニュースIdeas & Deep AnalysisModels & Research

共有:

要点

この論文は、標準的なニューラルネット近似理論が最終出力の保証にとどまり中間層の役割が不明確であるというギャップを、深さの効果をスケールに応じて定量化する枠組みで埋めます。
固定幅の単一共有型混合活性化アーキテクチャを提案し、任意の有限深さに対応しつつ、各中間リードアウト 66 が目標関数 f の近似器として機能するようにします。
f92 L^p([0,1]^d)（p92[1,ff)]）に対して、中間層 66 の近似誤差は、(2d+1) 倍の L^p モジュラス・オブ・コンティニュイティを幾何学的スケール N^(-66) で評価した値により抑えられます。
目標関数が 1-リプシッツの場合は、(2d+1)N^(-66) の幾何学的収束率に見積もりが簡約されます。
後段のリードアウトが前段の補正項を引き継いでより細かなスケールの残差情報を補うという、多層グレード深層学習の発想に触発されており、先行部分を作り直さずに適応的な漸進的精密化が可能になります。