マインクラフト・ゲームにおけるマルチモーダルLLMエージェントのための経験転移

Abstract

複雑なゲーム環境で動作するマルチモーダルLLMエージェントは、新しい課題を効率的に解くために、過去の経験を継続的に再利用する必要があります。本研究では、メモリを静的な記録の受動的な保管庫として扱うのではなく、過去の相互作用から実行可能な知識を導出できるようにする、転移志向のメモリフレームワークEchoを提案します。転移を明示するために、Echoは再利用可能な知識を5つの次元（構造、属性、プロセス、機能、相互作用）に分解します。この定式化により、エージェントは異なる課題間で共通して現れる反復パターンを特定し、新しい状況においてどのような過去の経験が依然として適用可能かを推論できます。この定式化に基づき、EchoはIn-Context Analogy Learning（ICAL）を活用して関連する経験を取得し、文脈上の例を通じて未見の課題へ適応させます。Minecraftでの実験では、スクラッチからの学習設定の下でEchoが、対象のアンロック課題において1.3倍から1.7倍の速度向上を達成しました。さらにEchoは、バーストのような連鎖的アンロック現象を示し、転移可能な経験を獲得した後、短い時間間隔の中で複数の類似アイテムを急速にアンロックします。これらの結果は、経験の転移が、複雑な対話的環境におけるマルチモーダルLLMエージェントの効率と適応性を高める有望な方向性であることを示唆しています。