制約下における世界モデルのための潜在状態設計

Abstract

世界モデルは、エージェントにとって、それが構築する状態を通してのみ意味を持つ。その状態は、いくつかの情報を保持し、別の情報を捨て、さらにある将来の機能を支える必要がある：予測、制御、計画、記憶、グラウンディング、または反実仮想（カウンターファクト）推論。本論文は、世界モデル研究を「十分性制約のもとでの潜在状態設計」として扱う。 本研究では、アーキテクチャや応用領域ではなく、「潜在状態が何のために使われるのか」によって手法を束ねる機能的分類（ファンクショナル・タクソノミー）を提案する。具体的には、予測的埋め込み、反復（リカレント）信念状態、物体／因果構造、潜在行動インターフェース、グラウンディングされた計画インターフェース、記憶基盤である。これらの役割は、アーキテクチャに基づく分類では見えなくなる差異を明らかにする。たとえば、「予測のための十分性」と「制御のための十分性」の間のギャップ、そして「受動的なビデオ予測」と「反実仮想的な行動モデリング」の間のギャップである。 本分類は、潜在状態が満たすように設計された十分性制約に基づいてモデルを評価するための枠組みを支える。私たちは、表現、予測、計画、制御可能性、因果／反実仮想のサポート、記憶、不確実性の7つの軸に沿って手法を比較する。その結果得られる行列を、潜在状態が何を保持し、何を捨て、何を可能にするのかを診断するために用いる。 続く結論は、「行動可能な世界モデル」とは、構築される状態がタスクに一致しているものであって、最も多くの情報を保持するものではない、というものである。