ギブスアルゴリズムによる、中央集権的な性能保証を備えた分散機械学習

要旨: 本論文では、初めて、局所データセットを共有しない分散学習において集中型の性能が達成可能であることが示される。具体的には、クライアントが相対エントロピー正則化による経験的リスク最小化（ERM-RER）の学習フレームワークを採用し、クライアント間のフォワード・バックワード通信が確立されるとき、全データセットにアクセスする集中型ERM-RERと同等の性能を達成するには、各クライアントが局所的に得たギブズ測度を共有すれば十分であることがわかる。中核となる考え方は、クライアント~kによって生成されたギブズ測度が、クライアント~k+1における基準測度として用いられる点にある。これは、基準測度を通じて事前情報を符号化するための、原理に基づいた方法を実効的に確立する。特に、分散環境で集中型の性能を達成するには、局所サンプルサイズに応じた正則化係数の特定のスケーリングが必要となる。全体として、この結果は、モデル集合にわたる基準測度を介して局所の帰納バイアスを共有することへと協調戦略を転換する、新たな分散学習パラダイムへの道を切り開く。