ベアリングのみの追跡に対する強化学習に基づくオブザーバ制御（ベアリング・ベース・トラッキング）

要旨: 本論文は、移動目標の自律的な方位角（bearing）のみを用いた追跡に対する、深層強化学習に基づくオブザーバ制御方策を開発する。オブザーバの操縦問題は、信念（belie）を信念マルコフ決定過程として定式化する。ここで信念状態は、キュビチャ（cubature）カルマンフィルタ（CKF）の事後分布によって表現される。報酬関数は、2つの相反する目的、すなわち目標位置推定誤差（ユークリッド距離）の絶対値を最小化すること、ならびにCKFの推定整合性（マハラノビス距離）を維持すること、に対応するよう設計される。報酬は、パレートフロント上の2つの目的間における幾何学的内挿として定式化され、重み付け係数 eta \in [0,1] によってパラメータ化される。方策は、50,000エピソードで訓練された深層Qネットワーク（DQN）として実装される。性能は5,000回のモンテカルロエピソードで評価され、2つのベースラインと比較される。すなわち、方位に対して垂直な（perpendicular-to-bearing）ヒューリスティック、およびD-optimalフィッシャー情報最大化基準である。結果は、eta = 0.7 におけるDQN方策が、精度と頑健性の最良のトレードオフを達成することを示している。これは、平均追跡精度において情報理論的ベースラインと一致しつつ、報酬に含まれるマハラノビス項によって与えられる暗黙のフィルタ整合性正則化により、最悪時の誤差をほぼ10分の1にまで低減する。