教師なし行動圧縮：状態占有マッチングにより低次元のポリシーマニホールドを学習する

要旨: 深層強化学習（DRL）は、サンプル効率が低いことが広く認識されている。これは、部分的には、方策パラメータ空間に内在する高次元性と実質的な機能的冗長性に起因する制約である。最近提案された枠組みとして、我々は Action-based Policy Compression（APC）と呼ぶものがあり、学習された生成写像 g:mathcal Z to Theta を用いてパラメータ空間 Theta を低次元の潜在マニフォールド mathcal Z へ圧縮することでこの問題を緩和する。しかし、その性能は、再構成損失として即時の行動一致を用いることに強く制約されており、これは行動の類似性を表す近視眼的な代理指標である。その結果、連続した意思決定にまたがって誤差が累積し、深刻な問題に至る。 このボトルネックを克服するために、我々は Occupancy-based Policy Compression（OPC）を導入する。これは、即時の行動一致から長期ホライズンの状態空間カバレッジへと行動表現の焦点を移すことで、APCを強化するものである。具体的には、次の2つの主要な改善を提案する: （1）情報理論に基づく一意性指標を用いてデータセット生成を厳選し、多様な方策の集団を提供すること、（2）真の混合占有（mixture occupancy）分布と再構成された混合占有分布の間の発散を直接最小化する、完全に微分可能な圧縮目的関数を提案すること。これらの修正により、生成モデルは真の機能的類似性の周りに潜在空間を組織化することが強制される。その結果、元のパラメータ空間が持つ表現力の大部分を維持しつつ、幅広い行動に対して一般化できる潜在表現が促進される。最後に、我々は複数の連続制御ベンチマークにわたって、提案内容の利点を実験的に検証する。