SAVGO：連続制御のための余弦類似度による状態-行動価値ジオメトリ学習

Abstract

表現学習と類似度学習は強化学習（RL）のサンプル効率を向上させてきましたが、アクション空間において方策更新を直接形作るために用いられることはほとんどありません。このギャップを埋めるために、価値に基づく類似性を方策更新へ明示的に取り込む、幾何学に着目した強化学習アルゴリズムであるState-Action Value Geometry Optimization（SAVGO）を提案します。具体的には、SAVGOは、類似した行動価値推定をもつペアが高いコサイン類似度を示し、一方で不一致なペアは異なる方向へ写像されるような、結合された状態—行動埋め込み空間を学習します。この学習された幾何構造により、各更新でサンプルされた候補行動に対して類似度カーネルを生成でき、局所的な勾配に基づく更新を超えて、より高い価値領域へ方策改善を直接導くことが可能になります。その結果、表現学習、価値推定、方策最適化が単一の幾何学的一貫した目的関数のもとに統合されつつ、オフポリシーのアクタークリティック学習のスケーラビリティは維持されます。提案手法は、標準的なMuJoCoの連続制御ベンチマークで評価され、難しい高次元タスクにおいて強力なベースラインを上回る改善が示されます。さらに、価値—幾何学に基づく学習と類似度に基づく方策更新がどのように寄与しているかを分析するために、アブレーション研究を行います。