PAINT：自己蒸留型リゾナー向けの部分解適応型補間学習（Partial-Solution Adaptive Interpolated Training）

Abstract

大規模言語モデル（LLM）の推論を改善するには、モデルのテスト時の状態に整合していることに加え、トークン単位で有益であるという、両方の性質を満たす監督が必要です。検証可能な報酬による強化学習はオンポリシー探索を可能にしますが、報酬が疎で高分散なためクレジット割当が難しくなります。一方で、教師あり微調整や蒸留は密なターゲットを提供しますが、多くの場合、固定された軌跡で学習するか、より強力な教師に依存します。近年の特権付きオンポリシー自己蒸留では、検証済みの解決策の文脈のもとで、同一モデルによって生徒のロールアウトをスコアリングすることで、その中間的な立場を探っています。私たちは、この設定を文脈に基づく再スコアリングという観点から再検討します。推論において重要なのは、特権的な文脈が利用可能かどうかだけでなく、それをどれだけ開示すべきか、またその文脈の分布が生徒にどこまでどのように形作るべきか、という点です。私たちはPAINT（Partial-solution Adaptive INterpolated Training）を提案します。PAINTは、ロールアウト参照との重なりに応じて検証済みの解決策をマスクし、さらに、エントロピーミスマッチとなるトークン位置の疎な集合に対して、エネルギー空間上で小さな補間を適用します。競技レベルの数学ベンチマークにおいて、PAINTは、3つのQwen3スケールすべてで、強力なオンポリシー自己蒸留ベースラインに対して一貫して改善します。Qwen3-8Bでは、この事前ベースラインに対してmacro Avg@12を2.1ポイント引き上げ、さらにGRPOに対して2.9ポイント引き上げます。