前学習テキストに基づくルーブリック型自己対戦で、オープンエンド課題のポストトレーニング報酬信号をブートストラップする

要旨: セルフプレイは、Large Language Models（LLMs）を訓練するための有望なパラダイムとして、近年注目を集めています。セルフプレイでは、対象のLLMがタスク入力（例：質問する）を作成し、その後、自分自身でタスク出力（例：答えを返す）を生成することでそれに応答します。報酬モデルが出力を評価し、その報酬は通常、強化学習（RL）を通じてLLMの訓練に用いられます。セルフプレイは監督コストが最小限で済み、特にポストトレーニングのLLMにとって有益です。ポストトレーニングでは、高品質な入力・出力ペアが必要ですが、従来はそれを人間が書くか、あるいは高価な独自モデルに依存していました。しかし、既存研究は数学やコーディングのような検証可能なタスクに対してのみセルフプレイを扱っています。そこで本研究では、それをより現実的なオープンエンドのタスクへ拡張することを目指します。具体的には、各例ごとに、同じLLMを用いて評価ルーブリックと入力・出力ペアを合成するセルフプレイの枠組みであるPOPを提案します。次に、このルーブリックを用いて出力を評価し、モデルの訓練を行います。さらに、この枠組みを、内容の豊富な事前学習コーパスに基づいて、(1) 生成と検証のギャップを確保し、報酬ハッキングを抑制し、(2) モード崩壊を防ぎます。Qwen-2.5-7Bにおいて、POPは、長文のヘルスケアQAから創造的な文章作成、指示追従に至るまでのさまざまなタスクにわたって、事前学習済みモデルと指示チューニング済みモデルの両方の性能を向上させます。