TIPS：検索拡張LLM向けのターン単位情報ポテンシャル報酬シェーピング

要旨: 強化学習（RL）で訓練された検索拡張型の大規模言語モデル（LLM）は、オープンドメインの質問応答（QA）において強力な成果を達成していますが、訓練は依然として大きな課題です。最適化は、報酬が疎であることや、推論とツール呼び出しにまたがるクレジット割当が難しいことから、不安定になりがちです。これに対処するために、Turn-Level Information Potential Reward Shaping（TIPS）を提案します。これはシンプルな枠組みで、教師モデルのもとで正しい回答である可能性が高まることに基づき、各「推論＋ツール呼び出し」セグメントに対して、ターン単位で密な報酬を割り当てます。ポテンシャルベースの報酬シェーピングを活用することで、TIPSは、結果のみを最適化することの限界を克服する、きめ細かなかつ方策に不変な誘導を提供します。7つのQAベンチマークで評価したところ、TIPSは一貫してGRPO/PPOのベースラインを上回り、さらに訓練の安定性を大幅に向上させます。たとえば、Qwen-2.5 7B Instructモデルを用いた場合、TIPSはPPOに比べて平均Exact Matchスコアを11.8%改善し、F1を13.6%改善します。以上の結果は、ターン単位の情報ポテンシャル報酬シェーピングが、多ターンLLMの推論における疎報酬のクレジット割当問題に対して、有効で汎用的な解決策を提供することを示しています。