マルチエージェント強化学習のためのワイヤレス通信強化価値分解

要旨: マルチエージェント強化学習（MARL）における協調は、エージェント間の通信によって恩恵を受けますが、ほとんどの手法は理想化された通信チャネルを前提としており、既存の価値分解手法は誰が誰に対して成功裏に情報共有したのかを無視しています。本研究では、現実的な無線チャネルのもとで実現される通信グラフに応じて、集中型の価値ミキサを条件付ける協調MARLフレームワークCLOVERを提案します。このグラフは、価値分解に関係的な帰納バイアスを導入し、実現した通信構造に基づいて個々の効用がどのように混合されるかを制約します。ミキサはGNNであり、Permutation-Equivariant Hypernetwork（順列同変ハイパーネットワーク）によってノード固有の重みが生成されます。通信エッジに沿ったマルチホップ伝播により、クレジット割当が再構成されるため、異なるトポロジが異なる混合を引き起こします。本研究では、このミキサが順列不変であり、単調（IGM条件を保存する）であり、QMIXスタイルのミキサよりも厳密に表現力が高いことを証明します。現実的なチャネルを扱うために、確率的なチャネル効果をエージェントの計算グラフから切り離す拡張MDPを定式化し、可変サイズのメッセージ集合に対して確率的受容野エンコーダを用いることで、エンドツーエンドの微分可能な学習を可能にします。p-CSMA無線チャネル下でのPredator-PreyおよびLumberjacksベンチマークにおいて、CLOVERはVDN、QMIX、TarMAC+VDN、TarMAC+QMIXに比べて、収束速度と最終性能の両方で一貫して改善します。行動分析により、エージェントが適応的なシグナリングと傾聴の戦略を学習することが確認され、アブレーションによって通信グラフの帰納バイアスが改善の主要な情報源であることが切り分けられます。