リトリーバル補強型LLMエージェント: 経験から学ぶことを学ぶ

要約：大規模言語モデル（LLMs）は汎用エージェントの開発を前進させましたが、未知のタスクに対する頑健な一般化を実現することは依然として大きな課題です。現在のアプローチは通常、ファインチューニング（微調整）または取得した経験を用いた訓練不要のメモリ強化生成のいずれかに依存しますが、いずれにも限界があります。ファインチューニングは新しいタスクへ外挿することにしばしば失敗し、経験検索は教師付きベースラインと比較してしばしば劣ることがあります。ここでは、これらのアプローチを組み合わせ、取得した軌跡を文脈内で効果的に活用するように、検索強化型LLMエージェントを訓練する方法を系統的に研究します。まず、LoRAを用いた堅牢な教師付きファインチューニング（SFT）レシピを確立し、いくつかの最先端エージェント訓練パイプラインを上回ります。次に、経験検索の主要な設計上の選択肢を詳しく分析し、ストレージ、クエリ、軌跡選択の最適な戦略を特定します。最後に、経験検索をファインチューニングプロセスに組み込むパイプラインを提案します。私たちの結果は、この組み合わせたアプローチが未知のタスクへの一般化を大幅に向上させ、経験から学ぶ能力を身につけるエージェントを構築するための、スケーラブルで効果的なフレームワークを提供することを示しています。