TARo: 大規模言語モデルのテスト時整合性のためのトークンレベル適応ルーティング

要旨: 大規模言語モデル（LLMs）は強力な推論能力を示すが、通常は高い性能を達成するために高価なポストトレーニングを必要とする。最近のテスト時アラインメント手法は軽量な代替手段を提供するが、主に嗜好整合のために推論よりも研究されてきた。このギャップを埋めるために、トークンレベル適応ルーティング（TARo）を提案する。これは凍結されたLLMsを推論時のみで構造化推論へと導く。具体的には、まずステップごとの数学的トレースに基づいて報酬モデルを訓練し、細粒度の論理的一貫性信号を捉え、次に報酬モデルの基モデルへの導きを自動的に制御する学習可能なトークンレベルのルータを導入する。広範な実験により、TARoはベースモデルに対して最大+22.4%の推論性能を改善し、既存のトークンレベルのテスト時アラインメント手法より最大+8.4%改善することを示すとともに、分布外の臨床推論（MedXpertQA）および指示の遵守（AlpacaEval）も向上させる。さらに、TARoは再訓練なしで小さなバックボーンから大きなバックボーンへ一般化し、テスト時アラインメントを嗜好最適化から堅牢でクロスドメインな推論へと拡張する。