Abstract
多階層（multigrade）深層学習（MGDL）を、深いニューラルネットワークにおける構造化された誤差の洗練（error refinement）のための原理的枠組みとして研究する。ニューラルネットワークの近似能力は現在比較的よく理解されている一方で、非常に深いアーキテクチャの学習は、強い非凸性や多くの場合に不適切（ill-conditioned）な最適化風景のため、依然として困難である。これに対して比較的浅いネットワーク、特に1隠れ層の exttt{ReLU} モデルでは、学習は大域的保証を伴う凸な再定式化を許し、深さにスケールしつつ安定性を改善する学習パラダイムに動機づけを与える。MGDLは、この洞察を基に深いネットワークを段階（grade）ごとに学習することで構成される。すなわち、これまでに学習した段階は固定し、各新しい残差ブロックは残っている近似誤差を減らすことだけを目的として学習する。これにより、解釈可能で安定した階層的な洗練プロセスが得られる。私たちはMGDLのための作用素論的（operator-theoretic）基礎を構築し、任意の連続な目標関数に対して、残差が各段階を通じて厳密に減少し、かつ一様にゼロへ収束する固定幅の多階層 exttt{ReLU} スキームが存在することを証明する。我々の知る限り、本研究は、段階ごとの学習が深いネットワークにおいて証明可能な近似誤差の消失（vanishing approximation error）を生むという、最初の厳密な理論的保証を与えるものである。数値実験はさらに、理論結果を示している。
