ジャンプを伴うランダムウォークによる分散学習

arXiv cs.LG / 2026/4/15

📰 ニュースSignals & Early TrendsIdeas & Deep AnalysisModels & Research

共有:

要点

本論文は、中央コーディネータなしで分散学習を行うことを研究し、単一モデルをトークンベースのランダムウォークで伝播させ、訪問したノードでローカル更新を行うことで、通信および計算のオーバーヘッドを低く抑えます。
データのヘテロジニアス（非一様性）に対する収束性を改善するために、遷移行列を設計して目標分布からサンプリングする重み付きランダムウォーク学習を解析しますが、Metropolis-Hastings の重み付けが「閉じ込め（entrapment）」効果、すなわちウォークが小さなネットワーク領域に固着してしまう現象を引き起こすことも示します。
著者らは、長距離の遷移を周期的に導入する「Metropolis-Hastings with Lévy jumps（Lévyジャンプを伴うMetropolis-Hastings）」を提案し、局所情報の制約を守りつつ探索を回復させます。
新しい収束率の解析を提示し、その性能がデータのヘテロジニアス、ネットワークのスペクトルギャップ、そしてジャンプ確率に明示的に結び付けられることを示します。
実験により、MHLJ は閉じ込めを解消し、重み付き Metropolis-Hastings アプローチと比べて分散学習を大幅に高速化することが示されています。