マルチモーダル車両・路側通信システムにおける同変マルチエージェント強化学習

Abstract

本論文では、移動する車両からマルチモーダル（無線および視覚）データを収集する分散型基地局（BS）が、路側ユニット（RSU）として機能する車車間インフラ（V2I）システムを研究する。各RSUは、ネットワークの良好な性能を保証するために全RSUが協調しつつも、自身のローカルな観測に基づいてリソースを最適化する、分散型レート最大化問題を考える。この問題を、車両の位置に関する回転対称性を取り入れることで、分散型マルチエージェント強化学習（MARL）問題として再定式化する。これらの対称性を活用するために、自己教師あり学習の新しい枠組みを提案する。この枠組みでは、各BSエージェントが、そのマルチモーダル観測の潜在特徴を整合させることで、各自のローカル領域内にある車両の位置を抽出する。各RSUにおいて得られるこのセンシングデータを用いて、グラフニューラルネットワーク（GNN）のメッセージパッシング層で等変（equivariant）な方策ネットワークを学習する。これにより、各エージェントはローカルに方策を計算しつつ、全エージェントは、部分観測可能性を克服しグローバル方策の等変性を保証するシグナリング方式によって方策を調整する。数値結果として、レイトレーシングとコンピュータグラフィックスを用いて無線および視覚データを収集するシミュレーション環境での結果を示す。結果は、提案する自己教師ありかつマルチモーダルなセンシングアプローチの汎化性を示しており、ベースラインに対して2倍以上の精度向上を達成する。また、等変MARLの学習の効率性として、標準的な手法に対して50%以上の性能向上を達成する。