特徴学習のハミルトン力学：リーキーResNetにおけるボトルネック構造
arXiv stat.ML / 2026/3/26
💬 オピニオンSignals & Early TrendsIdeas & Deep AnalysisModels & Research
要点
- 本論文は、実効的な深さのハイパーパラメータ\(\tilde{L}\)によって、ResNetと全結合ネットワークの間を補間する一群としてリーキーResNetを解析する。
- 表現空間上の連続的な経路（NeuralODEの軌道に類似）として「表現ジオデシック（representation geodesics）」を導入し、無限深さの設定においてネットワークのパラメータノルムを最小化する経路を考える。
- ハミルトン／ラグランジアンによる再定式化により、特徴学習は、運動項（層ごとの導関数\(\partial_p A_p\)が大きいことを罰する）と、ポテンシャル項（「同一性のコスト（Cost of Identity）」によって低次元の表現を促進する）によって支配されることを示す。
- 著者らは、この力学に基づく釣り合いを用いて、ボトルネック挙動の出現を説明する。すなわち\(\tilde{L}\)が大きい場合、低次元の多様体へ急速に遷移したのち、その中での運動はゆっくりになり、その後で高次元の出力へと戻る。
- 著者らは、時尺度の分離を考慮するために設計された適応的な層ステップサイズを用いた学習によって、この直観を検証する。
