深層強化学習による予測的時空間観測を用いた分散型エンドツーエンド・マルチAAV追跡

要旨: 整然としない環境における分散協調的な追跡は、自律飛行ドローン・スウォームにとって特に、部分的でノイズのある知覚の下では困難です。既存手法の多くは、抽象化された幾何学的特徴や、特権的に得られる正解状態に依存しているため、現実の環境における知覚の不確実性を回避する形になっています。そこで本研究では、ラベル付きデータからなる直接入力として生のLiDAR観測を連続制御コマンドへ写像する、分散型エンドツーエンドのマルチエージェント強化学習（MARL）フレームワークを提案します。このフレームワークの中核は、予測的スパティオ・テンポラル観測（Predictive Spatio-Temporal Observation: PSTO）であり、障害物の幾何形状を予測的な敵対的意図および味方（チームメイト）の運動に整合させる、エゴセントリックなグリッド表現です。これを、統一された固定解像度の投影のもとで行います。PSTOに基づき、単一の分散ポリシーが、静的障害物の回避、動的ターゲットの迎撃、そして協調的な包囲の維持を可能にします。シミュレーションにより、提案手法が、特権的な障害物情報に依存する最先端の学習ベース手法と比べて、捕捉効率および成功率で優れていることが示されます。さらに、この統一ポリシーは再学習なしで、異なるチーム規模に対してシームレスにスケールします。最後に、完全自律の屋外実験により、本フレームワークが、オンボードのセンシングと計算のみを用いるクアッドロータースウォームで検証されました。