長期計画における確実性のための構成的拡散の改良

要旨: 合成拡散計画（compositional diffusion planning）は、スコア合成によって重なり合う短期（short-horizon）区間をつなぎ合わせることで、長期（long-horizon）の軌道を生成する。しかし、局所計画分布が多峰性（multimodal）である場合、既存の合成手法はモード平均化（mode-averaging）に悩まされる。これは、互いに両立しない（incompatible）局所モードを平均すると、局所的に実行可能でもなく、かつ大域的に首尾一貫していない計画が生じてしまう現象である。我々は、合成サンプリングを高密度で大域的に首尾一貫した計画へと誘導する、学習不要のガイダンス手法である Refining Compositional Diffusion（RCD）を提案する。RCD は、学習済み拡散モデルの自己再構成誤差を、合成された計画の対数密度（log-density）の代理指標として用い、さらに区間境界での整合性を強制するオーバーラップ整合性項（overlap consistency term）を組み合わせる。これらを統合したガイダンスにより、モード平均化を緩和する高密度な計画へサンプリングが集中することを示す。OGBench からの、移動（locomotion）、物体操作（object manipulation）、およびピクセルベースの観測（pixel-based observations）を含む、困難な長期タスクに対する実験では、RCD が既存手法を一貫して上回ることを示す。