TEMPO：大規模推論モデルに対するスケーリング可能なテスト時トレーニング

Abstract

テスト時学習（TTT）は、推論時にラベルのないテストインスタンス上でモデルのパラメータを適応させ、オフライン学習の到達範囲を継続的に拡張します。初期には効果が得られるものの、言語能力を持つ大規模モデル（LRMs）に対する既存のTTT手法はすぐに頭打ちになり、追加のテスト時計算から利益を得られません。外部のキャリブレーションなしでは、自己生成される報酬信号は方策モデルが進化するにつれてますますドリフトし、その結果、性能のプラトーと多様性の崩壊の両方が起こります。我々はTEMPOを提案します。TEMPOは、ラベルのない質問に対する方策の改良と、ラベル付きデータセットに基づく周期的なクリティック（critic）の再キャリブレーションを交互に行うTTTフレームワークです。Expectation-Maximization（EM）アルゴリズムによってこの交互手順を形式化することで、先行手法が、重要な再キャリブレーション手順を省いた不完全な変種として解釈できることを明らかにします。この手順を再導入することで、証拠下限（ELBO）がより緊密になり、持続的な改善が可能になります。多様なモデルファミリ（Qwen3およびOLMO3）と推論タスクにわたって、TEMPOはAIME 2024でOLMO3-7Bを33.0%から51.1%へ、またQwen3-14Bを42.3%から65.8%へと改善し、高い多様性を維持しながら達成します。