価値因数分解に基づくマルチエージェント強化学習における非最適な安定点を突破する

Abstract

MARLにおける人気のパラダイムである価値因子分解は、重要な理論的およびアルゴリズム的ボトルネックに直面しています。すなわち、最適ではない解に収束してしまう傾向が、依然として十分に理解されておらず、解決されていません。理論面では、既存の分析がそのギャップを埋められていないのは、主に「最適な場合」に焦点を当てているためです。このギャップを埋めるために、私たちは新しい理論的概念として「安定点」を導入します。安定点は、一般の場合における価値因子分解の収束可能性を特徴づけるものです。既存手法における安定点の分布を分析することで、最適ではない安定点が性能低下の主因であることを明らかにします。しかしアルゴリズム面では、最適な行動を唯一の安定点にすることは、ほとんど実現不可能です。これに対し、不安定化によって非最適な行動を反復的にフィルタリングすることで、全体最適性を達成するというより実用的なアプローチが現れます。これに触発されて、私たちは新しい「多ラウンド価値因子分解（MRVF）」の枠組みを提案します。具体的には、直前に選択した行動に対する非負の報酬増分を測定することで、MRVFは劣った行動を不安定点に変換し、各反復がより優れた行動を伴う安定点へと向かうように駆動します。捕食者—被食者タスクやStarCraft II Multi-Agent Challenge（SMAC）を含む困難なベンチマークでの実験により、安定点に関する分析を検証し、最先端手法に対するMRVFの優位性を示します。