深層強化学習の事前学習のための進化戦略

Abstract

深層強化学習は複雑な意思決定問題に対して非常に有効であることが証明されていますが、成功する戦略を開発するためには、大きな計算資源と、慎重なパラメータ調整が必要です。進化戦略は、より単純で導出不要の（derivative-free）アプローチであり、計算コストが低く、導入も容易です。しかし、一般にESはDRLが達成する性能水準に匹敵しません。そのため、より要求の厳しいシナリオに対する適合性が疑問視されます。本研究では、Flappy Bird、Breakout、Mujoco の環境を含む難易度の異なるタスクにおけるESとDRLの性能を調べるとともに、ESをDRLアルゴリズムの初期学習に用いて性能を高められるかどうかを検討します。結果は、ESがDRLよりも一貫して速く学習できるわけではないことを示しています。前段の学習ステップとして用いた場合に得られる利点は、より単純な環境（Flappy Bird）に限られ、より洗練されたタスク（Breakout および MuJoCo Walker）に適用した際には、パラメータ設定の違いにわたって学習効率や安定性の改善はわずか、またはまったく見られませんでした。