MemReward: 限られたラベルでの大規模言語モデル報酬予測のためのグラフベースの経験メモリ

要約：複雑な推論のために強化学習を用いて大規模言語モデル（LLM）を訓練するには、生成されたロールアウトが正しいかどうかを示す報酬ラベルが必要です。 しかし、規模を拡大して報酬ラベルを取得するには、しばしば高価な人手ラベリングや時間のかかる検証手順を要します；例えば、数学的証明の評価には専門家のレビューが求められ、一方、オープンエンドの質問応答には決定的な基準データがありません。 報酬ラベルが限られている場合、強化学習のファインチューニングの有効性は報酬ラベルの希少性によって制約されます。 私たちは MemReward を紹介します。グラフベースのエクスペリエンスメモリフレームワークです：初期の LLM ポリシーは各クエリについてロールアウトを生成し、それぞれが思考過程と最終回答から成り、それらのロールアウトはエクスペリエンスメモリとして格納されます。 クエリ、思考過程、回答は、類似性と構造的エッジを持つ異種グラフのノードを形成します；ラベル付きノードで訓練された GNN がオンライン最適化の間に報酬を未ラベルのロールアウトへ伝播します。 Qwen2.5-3B および 1.5B を対象とした数学、質問応答、コード生成に関する実験は、20% のラベルしかなくても MemReward が 3B で Oracle の性能の 97.3%、1.5B で 96.6% を達成し、ドメイン外タスクで Oracle を上回ることを示しています。 ラベル予算が増えるにつれて性能は滑らかにスケールし、70% のラベルで Oracle の 99.4% に達します。