深層学習のためのランダム行列理論：線形モデルの固有値の彼方へ

arXiv stat.ML / 2026/4/17

💬 オピニオンIdeas & Deep AnalysisModels & Research

共有:

要点

本論文は、データの次元・サンプルサイズ・モデルパラメータ数がいずれも同程度に大きい高次元かつ過パラメータ化されたML/DNNの環境では、従来の低次元の直観が成り立ちにくいと主張しています。
著者らは、線形モデルの固有値ベースの解析にとどまっていたランダム行列理論（RMT）を、比例的な高次元レジームにおける非線形モデル（深層ニューラルネットワーク）へ拡張します。
「High-dimensional Equivalent」という概念を導入し、Deterministic EquivalentとLinear Equivalentを統合して、高次元性・非線形性・一般的な固有スペクトル汎関数の解析という3つの技術的課題に体系的に対処します。
この枠組みを用いて、線形モデル、非線形シャローネットワーク、深層ネットワークについて、訓練性能と汎化性能を精密に特徴づけ、スケーリング則やdouble descentなどの現象を説明します。
全体として、本研究は高次元レジームにおける深層学習の振る舞い（非線形な学習ダイナミクスを含む）を統一的に理解するための理論的視点を提供することを目指しています。

Abstract

現代の機械学習（ML）および深層ニューラルネットワーク（DNNs）はしばしば高次元データ上で動作し、古典的な低次元の直観が破綻するような、過剰パラメータ化されたモデルに依存している。特に、データ次元、サンプルサイズ、モデルパラメータ数のすべてが大きく、かつ同程度である比例的レジームでは、未知でときに直観に反するような挙動が生じる。本論文では、線形モデルの固有値に基づく解析を超えて、こうしたレジームにおけるDNNsのような非線形MLモデルがもたらす課題に対処するため、従来のランダム行列理論（RMT）を拡張する。さらに、決定論的同値（Deterministic Equivalent）と線形同値（Linear Equivalent）の双方を統一し一般化する概念である「高次元同値（High-dimensional Equivalent）」を導入し、高次元性、非線形性、ならびに一般的な固有スペクトル汎関数を解析する必要という3つの技術的課題を体系的に扱う。この枠組みを活用して、線形モデル、非線形な浅いネットワーク、深いネットワークにおける学習および一般化性能を精密に特徴づける。得られた結果は、スケーリング則、ダブルディセント、非線形な学習ダイナミクスといった多彩な現象を捉え、高次元における深層学習の理論的理解に対する統一的な視点を提供する。