CALF: 通信を意識した分散強化学習の学習フレームワーク

要旨：分散強化学習ポリシーは、エッジデバイスとクラウドサーバへ展開される際に、ネットワーク遅延、ジッター、パケット損失に直面します。標準的なRLトレーニングは遅延ゼロの相互作用を前提としており、現実的なネットワーク条件下で深刻な性能低下を引き起こします。私たちはCALF（Communication-Aware Learning Framework）を導入します。これはシミュレーション中に現実的なネットワークモデルの下でポリシーを学習します。系統的な実験により、ネットワークを意識したトレーニングが、ネットワークに依存しないベースラインと比較してデプロイ時の性能ギャップを大幅に縮小することが示されています。異種ハードウェアにまたがる分散ポリシーのデプロイメントは、トレーニング中に通信制約を明示的にモデリングすることが、実世界での堅牢な実行を可能にすることを検証します。これらの知見は、Wi-Fiに類似した分散デプロイメントにおけるシムツーリアル転送の主要軸としてネットワーク条件を位置づけ、物理モデリングと視覚的ドメイン乱数化を補完します。