計算アラインド・トレーニング：テスト時推論を最適化する

Abstract

テスト時の計算量を拡張することは、大規模言語モデル（LLM）の性能を高めるための強力な仕組みとして注目されてきました。しかし、標準的な事後学習の枠組みである教師あり微調整（SFT）や強化学習（RL）は、基となる方策のもとで個々のサンプルの尤度を最適化するため、集約された、またはフィルタリングされた出力に依存するテスト時の手続きとの間に不整合が生じます。本研究では、学習目標をテスト時の戦略に整合させる「計算整合学習（Compute Aligned Training）」を提案します。推論戦略を基となる方策に対する演算子として概念化することで、当該戦略を適用した際に性能を最大化する新しい損失関数を導出します。さらに、このような損失関数を、一般的なテスト時戦略に対してSFTおよびRLで具体化します。最後に、本学習手法が標準的な学習に比べてテスト時のスケーリングを大幅に改善するという経験的な証拠を提示します。