バナッハ空間値ランダム特徴モデルのユニバーサル近似性：ランダムニューラルネットワークを含む

要旨: 大規模カーネル近似のためのデータ駆動型教師あり機械学習手法である、ランダム特徴学習のバナッハ空間値拡張を導入します。特徴写像をランダムに初期化することで、訓練すべきなのは線形リードアウトのみとなり、計算複雑性を大幅に低減できます。ランダム特徴モデルをバナッハ空間値のランダム変数として捉え、対応するボホナー空間において普遍近似の結果を証明します。さらに、近似の収束率と、そのようなモデルによって与えられたバナッハ空間の元を学習するための明示的なアルゴリズムを導出します。本論文の枠組みには、ランダム三角／フーリエ回帰が含まれ、特に、重みとバイアスがランダムに初期化されるシングル・隠れ層のフィードフォワードニューラルネットワークであるランダムニューラルネットワークが含まれます。この場合も、訓練すべきなのは線形リードアウトのみです。後者については、非コンパクトな領域上の関数空間（例えば重み付き空間、L^p空間、そして（重み付き）ソボレフ空間）においてさえ、決定論的ニューラルネットワークの普遍近似性をランダムニューラルネットワークへ持ち上げることができます。ここで後者には、（弱）導関数の近似が含まれます。加えて、与えられた関数を近似するための訓練コストが、入力／出力の次元と、あらかじめ許容された近似誤差の逆数の両方に対して多項式的に増大するのはどのような場合かを解析します。さらに数値例を通じて、ランダム特徴モデルが決定論的な対応モデルに比べて経験的に優れていることを示します。