Self-Distillation Zero：自己修正により二値報酬を密な教師信号へ変換

要旨: 検証可能な設定における現在の事後学習（post-training）手法は、2つのカテゴリに大別できる。強化学習（RLVR）は二値報酬に依存し、幅広く適用可能で強力だが、学習中に得られる教師信号は疎である。蒸留（distillation）は、外部の教師（teacher）や高品質なデモンストレーションから通常得られる、密なトークンレベルの教師信号を提供する。そのような教師信号の収集はコストがかかる、または利用できないことがある。我々は、強化学習よりも実質的にトレーニングサンプル効率が高く、外部の教師や高品質なデモンストレーションを必要としない手法 Self-Distillation Zero（SD-Zero）を提案する。SD-Zeroは、単一のモデルを2つの役割で学習させる。初期応答を生成する Generator と、その応答と二値報酬を条件としてより良い応答を生成する Reviser である。次に、オンポリシー自己蒸留を行い、reviser を generator に蒸留する。これは、generator の応答とその報酬を条件としたときの reviser のトークン分布を、教師信号として用いることで実現する。要するに SD-Zero は、モデルを学習させて二値報酬を密なトークンレベルの自己教師信号へと変換する。Qwen3-4B-Instruct および Olmo-3-7B-Instruct の数学およびコード推論ベンチマークにおいて、SD-Zero は基盤モデルに対して少なくとも 10% 改善し、同一の質問集合と学習サンプル予算のもとで、Rejection Fine-Tuning（RFT）、GRPO、Self-Distillation Fine-Tuning（SDFT）を含む強力なベースラインを上回る。大規模なアブレーション研究により、提案アルゴリズムには2つの新規な特性があることが示される。(a) トークンレベルの自己局所化：reviser が、報酬に基づいて generator の応答の中で修正が必要な主要トークンを特定できる。(b) 反復的な自己進化：回答を修正する能力の向上が、定期的な教師の同期（teacher synchronization）によって生成性能へと蒸留され得る。