StructRL：分布強化学習における学習ダイナミクスから動的計画法構造を回復する

概要: 強化学習は通常、報酬や時間差誤差に導かれつつ、明示的に大域的な構造を活用することなく、均一でデータ駆動的な最適化プロセスとして扱われます。これに対して、動的計画法の手法は、構造化された情報伝播に依存しており、効率的かつ安定した学習を可能にします。本論文では、分布強化学習の学習ダイナミクスから、このような構造が回復できることを示す証拠を提示します。リターン分布の時間的な変化を分析することで、状態空間の「いつ」「どこで」学習が起きているかを捉える信号を特定します。具体的には、学習中にある状態が最も強い学習更新を受ける時点を反映する時間的学習指標 t*(s) を導入します。経験的には、この信号は、動的計画法スタイルの情報伝播と整合的な形で状態の順序付けをもたらします。この観察に基づき、我々は、これらの信号を活用して、立ち上がってくる伝播構造と整合するようにサンプリングを導く枠組み StructRL を提案します。予備的な結果は、分布強化学習のダイナミクスが、明示的なモデルを必要とせずに、動的計画法のような構造を回復し、それを活用するための仕組みを提供することを示唆しています。これは、強化学習を、単なる均一な最適化手続きではなく、構造化された伝播プロセスとして解釈できるという新しい視点を提供します。