線形二次レギュレータのスカラー・フェデレーテッド学習

Abstract

線形二次レギュレータ（LQR）制御における異種エージェントの共通ポリシーを、モデルフリー学習するための通信効率の高いフェデレーテッドアルゴリズムであるScalarFedLQRを提案します。この方法は分解された射影勾配メカニズムに基づいており、各エージェントは局所のゼロ次勾配推定のスカラー射影のみを通信します。サーバはこれらのスカラーのメッセージを集約して、グローバルな降下方向を再構成し、それにより、ポリシー次元に依存せず、エージェントあたりのアップリンク通信をO(d)からO(1)へ削減します。決定的な点として、射影によって生じる近似誤差は、参加するエージェント数が増えるほど減少し、有利なスケーリング則が成り立ちます。すなわち、大規模なフリートほどより正確な勾配回復が可能になり、より大きなステップサイズを許容でき、また高次元であってもより速い線形収束を達成します。標準的な正則性条件の下では、すべての反復が安定化した状態を保ち、平均LQRコストは線形に速く低下します。数値実験の結果は、通信量を大幅に削減しつつ、全勾配フェデレーテッドLQRと同等の性能を示すことを明らかにしています。