要旨: 確率的勾配法は大規模学習の中核を成していますが、その一般化理論は典型的に独立なサンプリングの仮定に依存しています。多くの実応用では、データはマルコフ連鎖によって生成され、学習は分散的に実行されるため、解析上の大きな困難が生じます。本研究では、マルコフ連鎖サンプリングのもとで、分散型確率的勾配降下（SGD）および確率的勾配上昇（SGDA）の安定性と一般化を調べます。安定性に基づく枠組みを活用することで、マルコフ的な依存関係と分散的な通信が一般化挙動にどのように影響するかを特徴づけます。解析は、ネットワークトポロジー、マルコフ連鎖の混合特性、そして原双対ダイナミクスの効果を捉えます。さらに、本研究では両アルゴリズムに対して非漸近的な一般化境界を確立し、マルコフ的確率的勾配法に関する既存の結果を、分散およびミニマックスの設定へと拡張します。
分散マルコフ SGD における安定性と汎化
arXiv cs.LG / 2026/5/5
📰 ニュースIdeas & Deep AnalysisModels & Research
要点
- 本論文は、データ生成が独立サンプリングではなくマルコフ連鎖により生じる依存サンプルである場合に、分散SGDおよびSGDAの安定性と汎化を調査します。
- 安定性ベースの解析枠組みを用い、マルコフ的依存と分散的な通信が汎化へどのように共同で影響するかを説明します。
- ネットワークトポロジー、マルコフ連鎖のミキシング特性、そして最適化における原始・双対ダイナミクスを組み込んだ、非漸近的な汎化境界を導出します。
- 既存の「マルコフ型確率勾配法」の理論を、分散学習とミニマックス（鞍点）設定の両方へ拡張しています。
- 相関をもつデータストリームと分散最適化に起因する解析上の難しさに焦点を当て、そうしたシステムでの汎化挙動を予測するための知見を提供します。
