交互勾配フロー（AGF）: 深層ネットワークにおける構造剪定と動的ルーティングの統一指標
arXiv cs.LG / 2026/3/16
💬 オピニオンSignals & Early TrendsIdeas & Deep AnalysisModels & Research
要点
- 本論文は、デカップリング型の運動的パラダイムとしての交互勾配フロー（AGF）と、剪定と動的ルーティングのためのネットワークの構造的有用性を定量化する新しい絶対特徴空間テイラー展開を提案する。
- 極端なスパース性の下で位相転移を示し、AGFが基準機能を保持し、暗黙の正則化を示してゼロからの訓練で観測される崩壊を回避する。
- Vision Transformersにおける勾配大きさのデカップリングに起因するスパース性のボトルネックを明らかにし、勾配信号が圧縮されリアルタイムのルーティングにとって最適性を欠く。
- オフラインのAGFガイド構造探索とオンライン実行を、ゼロコストの物理的事前情報を用いて分離するハイブリッドルーティングフレームワークを提案し、ImageNet-1Kでの75%の圧縮により構造崩壊を回避し、ImageNet-100では約50%の重いエキスパート使用の削減と全モデル精度の維持を実現し、パレート最適な効率を示す。
