MARL-GPT：マルチエージェント強化学習のための基盤モデル

Abstract

マルチエージェント強化学習（MARL）における近年の進展は、多くの挑戦的な領域や環境において成功を収めていることが示されていますが、典型的には各タスクごとに専用のモデルが必要です。本研究では、StarCraft Multi-Agent Challenge、Google Research Football、POGEMA など、多様な MARL 環境・タスクにまたがって、単一の GPT ベースモデルが学習し、良好に機能できるようにする首尾一貫した手法を提案します。我々の手法である MARL-GPT は、オフライン強化学習を適用して、専門家の軌跡（SMACv2 で 400M、GRF で 100M、POGEMA で 1B）をスケールさせて学習します。さらに、タスク固有の調整を必要としない、単一のトランスフォーマベースの観測エンコーダを用います。実験の結果、MARL-GPT は、検証したすべての環境において、専用のベースラインと競争力のある性能を達成しました。したがって、我々の知見は、基礎となる MARL モデル（自然言語モデリングにおける ChatGPT、Llama、Mistral などに相当するもの）に向けて道を開くために、非常に異なる多種多様なマルチエージェント問題に対して、マルチタスクのトランスフォーマベースモデルを構築することは、実際に可能であることを示唆しています。