ANCORA：マニフォールドにアンカーした自己プレイによる検証可能な推論のための「問いを学ぶ」

Abstract

私たちは、「答えることを学ぶ」から「問いかけることを学ぶ」へのパラダイムシフトを提案します。すなわち、言語モデルは検証可能な問題を生成し、それを解き、そして得られたフィードバックを人間の監督なしに自己改善へと変換できるでしょうか。私たちはANCORA（anchored-curriculum）という、統一された方策が新規の仕様を合成する提案者（Proposer）と、検証済みの解を生成する解答者（Solver）とを交互に切り替える枠組みを導入します。ANCORAは、3つの「荷重を支える」メカニズムに基づいています。第1に、仕様間での提案者の利点と、解答試行間での解答者の利点とを結び付ける、2段階のグループ相対更新です。第2に、RLの前にベースモデルをその有効な出力のマンフォールドへ射影する、反復的な自己蒸留SFTです。第3に、厳密にフィルタされた新規の、かつ解答者が検証した仕様のみを通じて成長する、UCBに導かれたカリキュラムDAGです。これらの安定化要素は、疎な検証器フィードバックがMLRL整合の報酬下であっても提案者の崩壊（collapse）を引き起こしてしまうため、必要です。Verusに具体化したところ、ANCORAは、0-shot評価のもとでテスト時トレーニング設定におけるDafny2Verusのpass@1を、26.6%のSFTベースラインから81.5%へと引き上げ、PSVの自己対戦ベースラインを15.8ポイント上回りました（PSVは1-shot推論を用いるにもかかわらず）。さらに別の転移設定では、Dafny2Verusのシードで学習すると、保持されたMBPPとHumanEvalでそれぞれ36.2%と17.2%のpass@1が得られます。