分散化による最適化と機械学習の加速

要旨: 分散最適化により、複数のデバイスが、それぞれの個々のデバイスがローカルのデータセットにしかアクセスできない状況で、グローバルな機械学習モデルを学習することが可能になります。学習データを個々のユーザのデバイスから外部に出す必要を回避することで、従来の集中型学習（すべてのデータを中央サーバに集約しなければならない）と比べて、プライバシーとスケーラビリティが向上します。しかし、分散最適化は従来、通信制約やデータのプライバシー上の懸念により、集中処理が現実的でない場合に限って用いられる「必要な妥協」と見なされてきました。本研究では、分散化が逆説的に収束を加速し、最適解に到達するのに必要な反復回数において集中型手法を上回り得ることを示します。ロジスティック回帰とニューラルネットワークの学習に関する例を通じて、複数のエージェントにデータと計算を分散することで、集中型アプローチよりも速い学習が実現できることを、各反復が同じだけの時間を要すると仮定した場合でも（全データを用いて集中して実行する場合、またはローカル部分集合に対して分散して実行する場合のいずれでも）実証します。この発見は、長年の前提を覆すものであり、分散化を戦略的な優位性として明らかにします。より効率的な最適化と機械学習のための新たな機会を提供するものです。