限られたシミュレーション訓練下での探索・救助UAVミッションにおける目標条件付き強化学習のためのルールベース高位コーチング

概要: 本論文は、限られたシミュレーション訓練のもとで、捜索救助（SAR）シナリオに動機づけられた無人航空機（UAV）ミッションのための階層型意思決定フレームワークを提案する。このフレームワークは、固定ルールに基づく高レベル・アドバイザと、オンラインのゴール条件付き低レベル強化学習（RL）コントローラを組み合わせている。初期段階での適応力を強く試験するために、厳格な事前学習なしのデプロイ（運用）体制も併せて考慮する。高レベル・アドバイザは、構造化されたタスク仕様からオフラインで定義され、決定論的なルールとしてコンパイルされる。推薦される行動、回避される行動、体制（レジーム）に依存する調停（アービトレーション）重みを通じて、解釈可能で、ミッションおよび安全性を考慮した指針を提供する。低レベル・コントローラは、タスク定義に基づく密な報酬からオンラインで学習し、ルールに由来するメタデータで拡張された、モードを意識した優先度付きリプレイ機構によって経験を再利用する。提案フレームワークを2つのタスクで評価する：バッテリを考慮したマルチゴール配送と、障害物が多い環境での移動目標の配送である。両方のタスクにおいて、本手法は衝突による終了（ターミネーション）を主に減らすことで、初期の安全性とサンプル効率を向上させつつ、状況固有のダイナミクスに対してオンラインで適応する能力を維持する。