ディテールの呪いを軽減する：特徴学習とサンプル複雑度のためのスケーリング議論

Abstract

深層学習理論における2つの切迫した話題は、特徴学習（FL）メカニズムの解釈と、豊かなレジームにおけるネットワークの暗黙のバイアスの決定です。豊かなFLに関する現在の理論は、多くの場合、高次元の非線形方程式の形として現れますが、これらは計算負荷の高い数値解法を必要とします。深層学習問題を定義するのに多くの詳細が関わることを考えると、この解析的な複雑さは重大で、しばしば避けられない課題です。ここでは、さまざまなFLのパターンが現れるデータ規模と幅規模を予測するための強力なヒューリスティックな経路を提案します。この種のスケール解析は、そのような厳密な理論よりもかなり単純であり、さまざまな既知の結果のスケーリング指数を再現します。さらに、3層の非線形ネットワークやアテンションヘッドといった複雑な玩具アーキテクチャに関する新しい予測も行い、深層学習の第一原理に基づく理論の適用範囲を拡張します。