後継表現（サクセサー・レプレゼンテーション）による階層型アクティブ推論

要旨: フリーエネルギー原理（FEP）に基づいて行動を推論するための、神経に着想を得たモデルである能動推論（Active inference）が、脳における知覚・行動・学習を理解するための統一的枠組みとして提案されている。能動推論はこれまで、ナビゲーションや計画といった生態学的に重要な課題をモデル化するために用いられてきたが、現実世界の環境における複雑な大規模問題を解くためにスケールすることは、依然として課題であった。脳における多尺度の階層的表象の存在に触発され、本研究では階層的能動推論に基づく行動計画のためのモデルを提案する。我々のアプローチは、環境の階層モデルと、効率的な計画のためのサクセサ表象（successor representations）を組み合わせる。以下を示す結果を提示する：（1）低レベルのサクセサ表象を用いて高レベルの抽象状態を学習できること、（2）低レベルにおける能動推論に基づく計画を、ブートストラップとして用いて高レベルの抽象行動を学習できること、（3）学習された高レベルの抽象状態と行動が、効率的な計画を促進できること。よく知られた「四つの部屋（four rooms）」課題の変種、鍵を用いたナビゲーション課題、部分観測の計画問題、Mountain Car 問題、状態・行動の空間が連続であるナビゲーション課題のファミリーである PointMaze など、いくつかの計画および強化学習（RL）問題に対して、本アプローチの性能を示す。これらの結果は、我々の知る限り、学習された階層的な状態および行動の抽象化を、脳機能の FEP ベースの理論における能動推論へ適用した最初の試みである。