ProRLエージェント: マルチターンLLMエージェントのRL訓練のための Rollout-as-a-Service（ロールアウトをサービスとして提供）

概要: 多ターンのLLMエージェントは、複雑で対話的なタスクを解決するためにますます重要になっており、強化学習（RL）は長期的な挙動を改善するための重要な要素です。しかし、RLのトレーニングには多数のサンドボックス化されたロールアウト軌跡を生成する必要があり、既存のインフラはしばしばロールアウトのオーケストレーションとトレーニングループを結び付け、システムの移行や保守を難しくします。ロールアウトをサービスとして提供するという理念のもと、APIサービスを通じて完全なエージェント中心のロールアウトライフサイクルを提供するスケーラブルなインフラストラクチャ ProRL Agent を紹介します。ProRL Agent は、ルートレスHPC環境でさまざまなエージェント系タスクをサポートする、標準化され拡張可能なサンドボックス環境も提供します。ソフトウェア工学、数学、STEM、およびコーディングタスクに対するRLトレーニングを通じて ProRL Agent を検証します。ProRL Agent はオープンソース化され、NVIDIA NeMo Gym の一部として統合されています。