REM-CTX: 補助コンテキストを用いた強化学習による自動ピアレビュー
arXiv cs.AI / 2026/4/2
💬 オピニオンSignals & Early TrendsIdeas & Deep AnalysisModels & Research
要点
- REM-CTXは、レビュー生成時に、対応関係を意識した信号などの補助コンテキストを取り込むことで、テキストのみの入力を超えた強化学習ベースの自動ピアレビューシステムである。
- 本手法はGroup Relative Policy Optimization（GRPO）を用いて8Bパラメータの言語モデルを学習し、さらに多面的な品質報酬に加えて2つの専門的な対応関係（correspondence）報酬を用いることで、補助コンテキストとの整合性を高める。
- 計算機科学・生物科学・物理科学にまたがる実験により、REM-CTXは6つのベースラインの中で総合的に最良のレビュー品質を達成し、実質的により大規模な商用モデルを用いたシステムを上回ることが示される。
- アブレーション分析と指標分析から、2つの対応関係報酬は相補的であることが分かり、学習ダイナミクスでは「批評（criticism）」の次元が他のレビュー指標と負の相関を持ち得ることが示され、報酬設計の重要性が示唆される。
- 全体として、本論文は、明示的なコンテキスト整合の目的を伴う強化学習によって、生成されるピアレビューの品質と文脈的な根拠付けの双方を大きく改善できることを示している。
