推論時スケーリングのための粒子ベース・モンテカルロにおける早すぎる搾取（Premature Exploitation）を緩和する

要旨: 推論時スケーリング（Inference-Time Scaling: ITS）は、生成時により多くの計算を割り当てることで言語モデルを改善します。粒子フィルタリング（Particle Filtering: PF）は、複雑な数学的推論タスクに対する強力なITS手法として注目されていますが、プロセス報酬モデルによって誘導される場合に脆弱です。プロセス報酬モデルは、多くの場合、推論の初期段階で過度に確信のあるスコアを割り当てます。これによりPFは、早すぎる活用（premature exploitation）に陥ります。すなわち、局所的に有望な軌道へと近視眼的にコミットし、潜在的に正しい仮説を刈り込み、最適でない解に収束します。この失敗モードは、粒子の貧困化（particle impoverishment）として知られており、特に計算予算が制約されている場合に深刻になります。これに対処するため、我々は問題を分析し、2つの根本原因を特定します。第一に、過度に確信のあるリサンプリングによって粒子集合の多様性が欠如し、その結果、推論パスの潜在力を評価できなくなることです。我々は、これらの課題を解決するために2つの新しい技術を統合したアルゴリズム、エントロピー粒子フィルタリング（Entropic Particle Filtering: ePF）を提案します。第一の技術であるエントロピー・アニーリング（Entropic Annealing: EA）は、多様性をエントロピーによって監視することで粒子の貧困化を直接的に緩和します。多様性が低下すると、探索を維持するために、リサンプリング分布を動的にアニーリングすることで介入します。第二に、状態の後続に基づいて、その状態の潜在力を評価するための予測的な指針を加える改善として、ルックアヘッド変調（Look-ahead Modulation: LaM）を導入します。いくつかの挑戦的な数学ベンチマークにおいて、ePFは強力なベースラインを大幅に上回り、タスク報酬において最大50%の相対的改善を達成しました。これらの手法は、多様な解空間の探索と高報酬領域の活用のバランスを取ることで、PFの頑健性を高め、結果としてより高品質な解を導きます。