切り詰められたデコーディングツリーの決定論的探索による効率的なテスト時推論

arXiv cs.LG / 2026/4/23

📰 ニュースDeveloper Stack & InfrastructureModels & Research

共有:

要点

この論文は、数学やコードのような制約のある領域では、自分貫徹（self-consistency）による推論が計算効率を損ねうると主張しています。理由は、置換ありのサンプリングによって高確率の接頭辞を何度も辿り、重複した補完が繰り返されるためです。
提案手法は Distinct Leaf Enumeration（DLE）で、切り詰められたサンプリングを刈り込まれたデコーディングツリーの探索として捉え、重複サンプリングを避けて異なる葉（leaf）を系統的に列挙する決定論的デコードです。
DLEは、同じ計算予算の下で切り詰められた探索空間のカバレッジを高めるとともに、共通の接頭辞を再利用して不要なトークン生成を減らすことで効率を改善します。
実験では、DLEが確率的なself-consistencyよりも質の高い推論トレースを探索でき、数学・コーディング・一般的な推論タスクで性能向上につながることが示されています。
本研究は、計算予算が限られていて補完の多様性が重要な場面において、サンプリングベースのself-consistencyに代わる実用的な選択肢を提示しています。