プラグ・アンド・プレイ予測器によるドメイン特化型ツリー・オブ・ソート

概要: 大規模言語モデル（LLM）は複雑な推論を進める上で大きく前進してきましたが、Tree of Thoughts（ToT）フレームワークのような代表的手法には、「探索の深さ」と「計算効率」の間に重大なトレードオフがあるという重要な課題があります。既存のToT実装は、多くの場合、重いLLMベースの自己評価や、枝刈りのための硬直的なヒューリスティックに依存しています。そのため、非常に高コストであり、広範な適用には不向きで柔軟性に欠けます。そこで本研究では、軽量な教師ありヒューリスティックとしてToT探索プロセスを導く、アダプタブルでプラグアンドプレイな予測器DSTを提案します。私たちの予測器は、動的で文脈に応じた枝刈りを可能にし、単純な推論ステップではほぼ貪欲な効率で探索を進めつつ、不確実性やタスクの複雑さに遭遇したときに限って、探索ビームを適応的に拡張できるようにします。数学的推論、一般的推論、複雑な論理推論にまたがる多様なベンチマークで本アプローチを評価します。実験結果は、標準的なToTを含む強力なベースラインと同等以上の精度を達成しながら、計算オーバーヘッドを26〜75%削減できることを示しています。本研究は、木構造に基づく推論における「精度−効率」のトレードオフを効果的に解決し、ToTをリソース集約的な手法から、LLMにおける複雑問題解決のための、スケーラブルで実用的なパラダイムへと変えます。