グラフ構造化されたワールドモデルでアドホックネットワークのダイナミクスを学習する

概要: 適応的ワイヤレスネットワーク（ad hoc wireless networks）は、複雑で本質的かつ結合したダイナミクスを示します。すなわち、ノード移動性、エネルギー枯渇、トポロジー変化が相互に絡み合っており、解析的にモデル化することが困難です。モデルフリーの深層強化学習は、持続的なオンライン相互作用を必要とする一方で、既存のモデルベース手法は、ノードごとの構造を失ってしまう平坦な状態表現を用いることが多いです。そこで本研究では、G-RSSM（graph structured recurrent state space model）を提案します。これはグラフ構造化された再帰的状態空間モデルであり、オフライン軌跡からダイナミクスを共同で学習するために、各ノードの潜在状態を保持し、さらにノード間のマルチヘッド注意（cross node multi head attention）を用います。本提案手法を下流タスクであるクラスタリングに適用します。クラスタヘッド選択の方策は、学習済みのワールドモデル内で想像したロールアウトを通じて完全に学習されます。MANET、VANET、FANET、WSN、戦術ネットワークを含む、N=30〜1000ノードの27の評価シナリオにわたって、学習された方策は、N=50で訓練しただけで高い接続性を維持します。以上より、本研究では、サイズに依存しないワイヤレスad hocネットワークにおける組合せ的な「ノードごとの意思決定」に適用する、初のマルチフィジックスのグラフ構造化ワールドモデルを提案します。