デュアル・トラックCoT：小型LM向けの予算に配慮した段階的ガイダンス
arXiv cs.CL / 2026/4/29
📰 ニュースIdeas & Deep AnalysisModels & Research
要点
- この論文は、厳しい計算量とトークン予算のもとで、小型言語モデル（約7〜8Bパラメータ）がチェーン・オブ・ソート（CoT）による多段推論を行えるかを検討しています。
- 自己一貫性（複数の推論をサンプリングして投票）、Tree-of-Thoughts（中間思考を探索）、批評・修正ループなどの既存手法は、精度を高める一方でトークンコストが大きく、各推論ステップを細かく制御できないことが多いと主張しています。
- 「Dual-Track CoT」はこのギャップを埋めることを目的としており、冗長なステップを拒否するなどの制御を用いながら、トークン数を増やさずに推論の信頼性を高めるための予算に配慮した段階的ガイダンスを提供します。
- 貢献は科学的にも実務的にも位置づけられており、ステップレベルのプロセス監督やテスト時の単純な制約が、大規模モデル規模や大量サンプリングの代替になり得るかを検証します。
- 中心となる問いは、先行手法よりも同程度、あるいはより少ないトークンで、小型モデルが信頼できる推論を達成できるかであり、オンデバイスや低コスト推論の場面に直結します。
