政策グラディエント導出における「因果性（causality）」ステップについて：フルリターンとリワード・トゥ・ゴーグの教育的な整合性

Abstract

政策勾配の導入的なプレゼンテーションでは、しばしばREINFORCE推定量を全軌道のリターンを用いて導出し、その後「因果性」によって、全リターンは報酬・to・go（reward-to-go）で置き換えてよい、と述べます。この主張は正しいものの、十分な厳密さをもって提示されないことが多く、その結果として、過去の報酬項がどこで消えるのかが不明確なままになっています。本短い論文では、そのステップを切り出し、prefix（前半）軌道の分布とスコア関数の恒等式に基づく、数学的に明示的な導出を与えます。得られた説明は推定量を変更しません。貢献は概念的であり、報酬・to・goを、全リターンの事後的な（post hoc）な無偏置換として提示するのではなく、目的がprefix軌道に分解された時点で、報酬・to・goが直接に生じることを示します。この定式化では、通常の因果性に基づく議論が、追加のヒューリスティック原理としてではなく、導出の系（corollary）として回収されます。