非線形汎関数のためのスパース対応ニューラルネットワーク：次元に対する指数的依存の緩和

Abstract

深層ニューラルネットワークは、無限次元の関数空間上で定義された演算子を学習するための強力なツールとして登場してきた。しかし、既存の理論はしばしば、次元の呪い（次元性）や解釈可能性の制限に関連する困難に直面する。本研究では、演算子学習における中核的要素である機能学習（functional learning）において、疎性がどのようにこれらの課題に対処するのに役立つかを調査する。我々は、畳み込みアーキテクチャを用いて有限個のサンプルから疎な特徴を抽出し、それに加えて深い全結合ネットワークを用いて非線形汎関数を効果的に近似する枠組みを提案する。普遍的離散化（universal discretization）手法を用いて、疎な近似器が離散サンプルからの安定した復元を可能にすることを示す。さらに、分析においては決定論的なサンプリング方式とランダムサンプリング方式の両方が十分である。これらの結果は、速い周波数減衰や混合滑らかさをもつ関数空間を含むさまざまな関数空間において、近似率の改善と必要サンプル数の削減をもたらす。また、疎性が機能学習における次元の呪いをどのように緩和し得るかについて、新たな理論的洞察を提供する。