Curiosity-Critic：世界モデル学習のための内在的報酬としての累積予測誤差改善を、扱いやすい形にする

要旨: 局所的な予測誤差に基づく好奇心報酬は、訪れたすべての遷移にわたる世界モデルの累積予測誤差を考慮せず、現在の遷移に焦点を当てています。そこで本研究では、C u r i o s i t y - C r i t i c を導入します。これは、この累積目的関数の改善に基づいて固有報酬を与え、扱いやすい1ステップ形式に還元できることを示します。具体的には、それは「現在の予測誤差」と「現在の状態遷移における漸近的な誤差ベースライン」との差です。このベースラインは、世界モデルと並行して訓練される学習済みのクリティックによってオンライン推定します。1つのスカラーを回帰することで、クリティックは世界モデルが飽和するより前に良好に収束し、ノイズ床のオラクル知識なしに、学習可能な遷移へ探索を振り向けます。報酬は学習可能な遷移でより高く、確率的（stochastic）な遷移ではベースラインへと崩れていきます。これにより、予測誤差をオンラインで、認識論的（還元可能な）誤差と、アレアトリック（不可逆な）誤差に実効的に分離します。Schmidhuber（1991）から、学習された特徴空間に基づく変種までの先行する予測誤差に基づく好奇心の定式化は、このベースラインの特定の近似に対応する特殊ケースとして現れます。確率的グリッドワールドに対する実験では、Curiosity-Critic が収束速度と最終的な世界モデルの精度において、予測誤差および訪問回数（visitation-count）のベースラインを上回ることを示します。