WIST：ドメイン特化型推論改善のための、Webに基づく反復的自己プレイ・ツリー

要旨: 検証可能な報酬による強化学習（RLVR）における最近の進展は、言語モデルの自己改善への実用的な道筋を提供しますが、既存手法には重要なトレードオフがあります。内生的な自己対戦は反復を重ねる中でドリフトしてしまう一方、コーパスに基づくアプローチは、厳選されたデータ環境に依存しています。私たちは、事前に用意されたドメインのコーパスを必要とせずに、オープンウェブから直接学習する、ドメインを対象とした推論改善のための
\textbf{WIST}（\textbf{W}ebに基づく\textbf{I}terative\textbf{S}elf-play\textbf{T}ree フレームワーク）を提示します。WISTは探索のためにドメインツリーを段階的に拡張し、経路整合的なウェブコーパスを取得してクレンジングすることで、制御可能な学習環境を構築します。その後、検証可能な報酬を用いたChallenger--Solverの自己対戦を実行し、学習可能性に関する信号をノードの事後分布を更新するためにフィードバックし、適応的なカリキュラムによってその後の探索を導きます。4つのバックボーンにおいて、WISTは一貫してベースモデルより改善し、また純粋な内生的自己進化およびコーパスに基づく自己対戦のベースラインの両方を概ね上回ります。総合的な向上は\textbf{+9.8}（\textit{Qwen3-4B-Base}）および\textbf{+9.7}（\textit{OctoThinker-8B}）に達します。WISTはさらにドメインを制御でき、医学では\textit{Qwen3-8B-Base}が\textbf{+14.79}、PhyBenchでは\textit{Qwen3-4B-Base}が\textbf{+5.28}改善します。アブレーションはまた、安定したオープンウェブ学習においてWISTの主要コンポーネントが重要であることをさらに裏付けます。私たちのコードは https://github.com/lfy-123/WIST で公開されています。