Writer-R1: メモリ拡張リプレイポリシー最適化によるLLMの生成的執筆の強化

要約：一般的なオープンエンド生成タスクとして、創作的な執筆は検証可能な参照解答を欠く。これは長い間、報酬モデリングと自動評価を制約してきた原因となっており、高い人間のアノテーションコスト、評価の偏り、および粗いフィードバック信号が要因である。これらの課題に対処するため、本論文はまずグラウンデッド・セオリーに基づくマルチエージェント協調ワークフローを設計し、問題の次元分解と階層的帰納を実行して、動的に解釈可能で再利用可能な細粒度の基準を生成する。さらに、Memory-augmented Replay Policy Optimization（MRPO）アルゴリズムを提案する。一方、追加訓練なしで MRPO は動的な基準に基づいてモデルの自己反省を促し、制御可能な反復的改善を可能にする。他方、監視付きファインチューニングと強化学習を組み合わせた訓練パラダイムを採用して、評価基準を報酬信号へ変換し、エンドツーエンドの最適化を実現する。実験結果は、自動的に構築された基準が人間の注釈と同等の性能向上を達成することを示している。Writer-R1-4B モデルはこのアプローチで訓練され、複数の創作執筆タスクでベースラインを上回り、パラメータが1000億を超えるオープンソースモデルの中にはこれを上回るものもある。返却形式: {"translated": "翻訳されたHTML"}