STAIRS-Former: インタリーブド再帰構造トランスフォーマーによる時空間注意機構を備えたオフラインの多タスク・多エージェント強化学習

オフラインの多エージェント強化学習（MARL）において、マルチタスクデータセットを用いることは、タスクごとにエージェントの数が異なることと、未見の状況へ一般化する必要性のため、困難です。従来の研究は、観測トークン化と階層的スキル学習を用いてこれらの課題に対処してきました。しかし、エージェント間の協調のためのトランスフォーマーの注意機構を十分に活用せず、単一の履歴トークンに依存しており、部分観測の MARL 設定における長期的な時間的依存関係を捉える能力を制限しています。本論文では、空間的および時間的階層を組み込んだトランスフォーマーアーキテクチャ STAIRS-Former を提案します。これにより、重要なトークンに対して効果的な注意を適用しつつ、長い相互作用履歴を捉えることができます。さらに、異なるエージェント集団に対するロバスト性と一般化を向上させるために、トークン・ドロップアウトを導入します。SMAC、SMAC-v2、MPE、MaMuJoCo など、多様なマルチエージェントベンチマークとマルチタスクデータセットを対象とした広範な実験により、STAIRS-Former が従来手法を一貫して上回り、新たな最先端性能を達成することを示します。