Dejavu: Towards Experience Feedback Learning for Embodied Intelligence

arXiv cs.RO / 4/13/2026

💬 OpinionSignals & Early TrendsIdeas & Deep AnalysisModels & Research

共有:

Key Points

この論文は、実環境に投入後に新しい知識を獲得して性能向上することが難しいという課題に対し、ポストデプロイ学習の一般フレームワークDejavuを提案しています。
Dejavuは凍結したVision-Language-Action(VLA)方策に対して、Experience Feedback Network(EFN)が参照用の実行メモリを検索し、観測に応じて参照ガイダンスを条件付けして行動予測を更新する仕組みです。
EFNは強化学習と意味類似度に基づく報酬で学習され、現在の観測下で過去の行動に整合するように学習を促します。
実運用では新しい軌跡を継続的にメモリへ追加し、エージェントが経験から学習できるようにする点が特徴です。
幅広いエンボディド・タスクで、EFNが凍結ベースラインより適応性・頑健性・成功率を改善したと報告しています。

Abstract

Embodied agents face a fundamental limitation: once deployed in real-world environments, they cannot easily acquire new knowledge to improve task performance. In this paper, we propose Dejavu, a general post-deployment learning framework that augments a frozen Vision-Language-Action (VLA) policy with retrieved execution memories through an Experience Feedback Network (EFN). EFN identifies contextually relevant prior action experiences and conditions action prediction on the retrieved guidance. We train EFN with reinforcement learning and semantic similarity rewards, encouraging the predicted actions to align with past behaviors under the current observation. During deployment, EFN continually expands its memory with new trajectories, enabling the agent to exhibit ``learning from experience.'' Experiments across diverse embodied tasks show that EFN improves adaptability, robustness, and success rates over frozen baselines. Our Project Page is https://dejavu2025.github.io/.