エージェント境界を越えた記憶としてのアーティファクト

要旨: 認知の状況に基づく見方では、知的なふるまいは内的な記憶だけでなく、エージェントが環境の資源を能動的に用いることにも依存する、ということが示唆されます。ここでは、この直観を強化学習（RL）の枠組みの中で形式化することを開始します。環境がどのようにして、エージェントの記憶として機能的に役立ちうるのかについての数学的な定式化を導入し、履歴を表すのに必要な情報量を減らしうる、私たちのいう「人工物（artifacts）」と呼ぶ特定の観測が存在することを証明します。さらに、エージェントが空間的な経路を観測すると、十分に機能する方策を学習するために必要なメモリ量が減少することを示す実験によって、この理論を裏づけます。興味深いことに、この効果は意図せず、そしてエージェントの感覚ストリームを通じて暗黙に生じます。私たちは、これらの発見がもたらす含意を議論し、外部記憶の説明の根拠として従来用いられてきた定性的性質を満たすことを示します。今後、この分野に関するさらなる研究によって、明示的な内的記憶の代替として環境を活用するための、原理に基づいた方法が明らかになることを期待しています。