価値を意識した逐次コミュニケーションによるマルチエージェント意思決定重視学習

アブストラクト: 部分観測下におけるマルチエージェントの協調では、エージェントが補完的な非公開情報を共有する必要がある。近年の手法は、（再構成精度や相互情報量など）中間的な目的のためにメッセージを最適化する一方で、意思決定の質ではない。そこで本研究では、タスク性能のための意思決定に焦点を当てた学習を、逐次通信と統合する extbf{SeqComm-DFL} を提案する。我々の手法は、 extit{逐次スタッケルベルグ条件付けを伴う価値認識型メッセージ生成} を特徴とし、メッセージは受信側の意思決定の質を最大化し、優先順位順に生成される。各エージェントは自分より前のエージェントに条件付ける。 extit{その利他的な順序づけによって定まるガイダンス可能性（guidance potential）} 。さらに、我々は QMIX の因数分解を用いた、通信を拡張した世界モデルへ Optimal Model Design を拡張し、暗黙的な微分による効率的なエンドツーエンド学習を可能にする。通信価値が協調のギャップとともにどのようにスケールするかを示す情報理論的な上界を証明し、二水準最適化に対して
mathcal{O}(1/sqrt{T}) の収束を確立する。ここで T は学習反復回数を表す。共同ヘルスケアおよび StarCraft Multi-Agent Challenge（SMAC）のベンチマークにおいて、SeqComm-DFL は累積報酬で 4〜6 倍の向上、勝率で 13 extperthousand% 以上の改善を達成し、情報の非対称性の下では実現不可能な協調戦略を可能にする。