LLM推論データ選択におけるステップ長の交絡（confounding）について

要旨: 大規模推論モデルは、長い思考過程（chain-of-thought）による推論を必要とする複雑なタスクにおいて、 大規模かつ高品質なデータセットでの教師あり微調整を通じて、近年強い性能を示している。 このようなデータセットを構築するために、既存のパイプラインでは、より能力の高い大規模言語モデル（LLM）から長い推論データを生成し、手作業のヒューリスティックまたは自然さ（ナチュラネス）に基づく選択手法を用いて、高品質なサンプルをフィルタリングする。自然さに基づくデータ選択の有効性が、LLMが付与する平均対数確率（average log probability）によってデータを順位付けする点で実証されているにもかかわらず、我々の分析では、LLMの推論データセットに適用した場合、より高品質なサンプルを好むのではなく、より長い推論ステップ（すなわち、ステップごとのトークン数が多いこと）を体系的に選好することが示される。 この現象を我々は「ステップ長の交絡（step length confounding）」と呼ぶ。 定量的分析により、この現象は推論ステップにおける確率の低い最初のトークンによるものだと帰結される。 長いステップではこれらの影響が薄まり、その結果として平均対数確率が押し上げられる。 この問題に対処するため、我々は2つの派生手法を提案する。1つ目はASLEC-DROPで、平均対数確率を計算する際に最初のトークンの確率を落とす。2つ目はASLEC-CASLで、最初のトークンによる交絡効果を除去するために因果的デバイアス（傾き補正）の回帰を適用する。4つのLLMと5つの評価ベンチマークにまたがる実験により、本手法がステップ長の交絡問題を緩和する上で有効であることが示される。