計算の凸（convex）パラダイムとしてのディープラーニング：ResNetによる回路サイズの最小化
arXiv stat.ML / 2026/3/26
💬 オピニオンIdeas & Deep AnalysisModels & Research
要点
- 論文は、十分な精度で小さな二値回路による近似が可能であれば、指数が2より大きい場合にHarder than Monte Carlo（HTMC）レジームで凸構造が現れるという、ディープラーニングの「凸パラダイム」を提案する。
- 近似に必要な回路サイズスケーリングに基づいて関数に対するHTMCノルムを定義し、計算上の回路計算量を関数の幾何学へ結び付ける。
- 同時に、著者らはResNetパラメータに対する重み付き1ノルムから導かれるResNetノルムを導入し、それに対応する関数上のノルムを与える。
- HTMCノルムとResNetノルムの間の、ほぼ一致する「サンドイッチ境界（sandwich bound）」を確立し、ResNetノルムの最小化が（2の累乗の因子の範囲で）ほぼ最小サイズの回路を見つけることに対応することを示唆する。
- 全体として、本研究はResNetを実数関数のための計算モデルとして位置付け、凸性が現れるHTMCレジームに特に適していると枠付ける。
