題目:SCALAR: LLM が導く記号的計画と深層強化学習の基盤付けによるスキルの学習と合成

要旨:LM ベースのエージェントは、高レベルのアクション API が与えられるときに優れた性能を発揮しますが、言語を低レベルの制御へ基盤付け（grounding）することでは苦戦します。先行研究では、LLM にスキルや強化学習（RL）のための報酬関数を生成させることで進めるものがありましたが、それらのワンショット手法では、仕様の誤りを修正するためのフィードバックが欠けています。私たちは、学習されたスキルライブラリを通じて LLM の計画と RL を結合する双方向の枠組みである SCALAR を導入します。LLM は前提条件と効果を伴ってスキルを提案し、RL は各スキルに対する方策を訓練して、実行結果をフィードバックとして返すことで、仕様を反復的に洗練し、初期の誤りに対する頑健性を高めます。重要な軌跡分析（Pivotal Trajectory Analysis）は、RL の軌跡を解析することで LLM の事前知識（prior）を補正します。フロンティア・チェックポインティング（Frontier Checkpointing）は、オプションとして、スキルの境界で環境状態を保存し、サンプル効率を改善します。Craftax において、SCALAR は 88.2% のダイヤ収集を達成し、最高のベースラインに対して 1.9 倍の改善を示し、さらに先行手法がまったく失敗する Gnomish Mines では 9.1% の割合で到達します。

ブックマーク

書誌および引用ツール

この記事に関連付けられたコード、データ、メディア

デモ

レコメンダーと検索ツール