BrainMem：身体性エージェントのタスク計画のための脳に着想した進化型メモリ

Abstract

身体化されたタスク計画では、エージェントが複雑な3D環境において長い時間軸をもつ、目標に導かれた行動を実行する必要があります。成功は、即時の知覚と、タスクをまたいで蓄積される経験の両方に依存します。しかし、既存のほとんどのLLMベースのプランナは状態を持たず反応的であるため、永続的なメモリなしで動作し、その結果として同じ誤りを繰り返したり、空間的または時間的な依存関係に苦戦したりします。本研究では、人間の認知に触発された、作業記憶・エピソード記憶・意味記憶を備えた学習不要の階層型メモリシステムであるBrainMem（Brain-Inspired Evolving Memory）を提案します。BrainMemは、相互作用履歴を継続的に変換して、構造化された知識グラフおよび蒸留された記号ガイドラインを生成し、モデルの微調整や追加学習を一切行うことなく、過去の経験から行動を検索し、推論し、適応できるようにします。このプラグアンドプレイ設計は、任意のマルチモーダルLLMとシームレスに統合でき、タスク固有のプロンプトエンジニアリングへの依存を大幅に低減します。EB-ALFRED、EB-Navigation、EB-Manipulation、EB-Habitatを含む4つの代表的ベンチマークに関する大規模な実験の結果、BrainMemは、多様なモデルおよび難易度サブセット全体にわたってタスク成功率を大きく向上させることが示されました。最大の改善は、長い時間軸をもつ、また空間的に複雑なタスクで観測されます。これらの結果は、進化するメモリが、汎用的な身体化知能を実現する有望でスケーラブルな仕組みであることを示しています。