数学的オブジェクトに関する推論: オンポリシー報酬モデリングとテスト時の集約

要旨: 正確に数学的対象を導出する能力は、数学、物理学、化学を含む下流のSTEMアプリケーションにおける中核的要件であり、推論は形式的に構造化された表現となって結実しなければならない。しかし、現在のLM（言語モデル）による数学的・科学的推論の評価は、自動評価の便宜性のため、数値や選択肢のような単純化された回答形式に大きく依存している。本研究では、数学的対象の推論を改善するための三つの貢献を提示する。(i) 数学的対象を導出するための訓練データとベンチマークを構築・公開する、Principiaシリーズ；(ii) 強力なLLMジャッジと検証者を用いた訓練レシピを提供し、オンポリシー判定訓練が性能を向上させることを示す；(iii) オンポリシー訓練を用いてアグリゲーションによるテスト時の計算量をスケールさせることも可能であることを示す。我々は、Qwen3-235B や o3 のような強力な言語モデルは Principia で苦戦することを示す一方で、我々の訓練レシピは異なるLLMバックボーンに対して顕著な改善をもたらし、既存の数値回答タスクおよびMCQAタスクの結果も同時に改善することができ、推論能力の形式横断的一般化を実証している。