Abstract
本稿では、一般の非ガウス的なデータ設計のもとで、高次元の凸経験的リスク最小化（ERM）を研究する。凸ガウス最小最大定理（Convex Gaussian Min-Max Theorem, CGMT）を非ガウス設定へヒューリスティックに拡張することで、主要な統計量に関する漸近的な最小最大の特徴付けを導出し、ERM推定量 theta の平均 mu_{theta} および共分散 C_{theta} を近似できるようにする。具体的には、データ行列に関する集中（concentration）の仮定と、損失および正則化（regularizer）に対する標準的な正則性条件のもとで、学習データと独立なテスト共変量 x について、射影 theta^top x は、mu_{theta}^top x の（一般に非ガウス的な）分布に、分散 ext{Tr}(C_{theta}E[xx^top]) をもつ独立な中心付きガウス確率変数との畳み込み（convolution）におよそ従うことを示す。この結果は、ERMに対するガウス的普遍性（Gaussian universality）の適用範囲と限界を明確化する。さらに、任意の C^2 正則化は、ゼロにおけるヘッセ行列と mu_{theta} における勾配によって決まる二次形式に、漸近的に同等であることを証明する。多様な損失関数とモデルにまたがる数値シミュレーションを行い、理論予測および定性的洞察を検証する。
