思考を促すヒューリスティック分類（HCoT）の提案：大規模言語モデルに構造化された推論を組み込むためにエキスパートシステムのヒューリスティックを統合する

arXiv cs.AI / 2026/4/15

💬 オピニオンIdeas & Deep AnalysisModels & Research

共有:

要点

本論文は、複雑な問題に対するLLMベース推論の主要な弱点として、(1)トークン生成が本質的に確率的で非決定的であること、(2)推論と動的に取得される知識が静的に分離されていること、の2点を特定する。
その解決として、HCoT（Heuristic-Classification-of-Thoughts）を提案する。これは、推論軌道を導き、安定化するために、ヒューリスティック分類モデルをLLMの生成ループに統合するプロンプト／制御スキーマである。
HCoTは、再利用可能な抽象的解決コンポーネントを備えた構造化された問題空間を用いることで、モデルが固定的で切り離された意思決定に頼るのではなく、推論戦略を動的に選択できるようにする。
探索空間が定義しにくい2つの帰納推論タスクに対する実験では、HCoTがTree-of-ThoughtsやChain-of-Thoughtsといった先行のプロンプト手法を上回ることを示す。
よく構造化された24 Game課題では、HCoTはbreadth-first searchを用いたTree-of-Thoughtsに比べてトークン効率を改善し、パレートフロンティア上で精度とコストのバランス（トレードオフ）が良好であることを示す。

Abstract

本論文は、複雑な問題を解く際の大規模言語モデル（LLM）における2つの制限に取り組む。すなわち、(1) 推論プロセスがベイズ的な確率生成を示し、各トークンが文脈依存の確率分布からサンプリングされるため、決定論的な計画ではなく、本質的にランダムな意思決定の軌跡が生じること；(2) 推論と意思決定のメカニズムが静的に分離されており、動的に取得された領域知識が、基盤となる推論戦略を動的に調整することに失敗すること。これらの二重の欠陥により、初期の意思決定は戦略的なアンカー付けを欠き、また確率的生成では、逐次的な推論の過程で軌跡を修正したり、知識に導かれた最適化を行う仕組みがないため、正しい解に収束する推論連鎖がしばしば失敗する。これらの問題を解決するために、我々は推論を導く、LLMの生成プロセスに統合された問題解決手法を提案する。この手法は多数のLLMに適合し、再利用可能な解を備えており、新しい「Heuristic-Classification-of-Thoughts（HCoT）」のプロンプト・スキーマに基づいている。HCoTは、推論の能力を、ヒューリスティック分類モデルによって制御される構造化された問題空間と相乗的に結び付け、推論プロセスを制御しつつ、再利用可能な抽象的解法を提供する。探索空間が不明確な2つの複雑な帰納的推論タスクで評価した結果、HCoTは既存手法（例：Tree-of-ThoughtsやChain-of-Thoughtsのプロンプト）を性能面で上回った。十分に構造化された24 Gameタスクでは、HCoTは最先端のTree-of-Thoughts-Breadth-First-Searchと比較して、トークン効率が有意に高いことを示した。正確性とトークン使用量の両面において、HCoTはパレートフロンティア上のバランスを達成し、性能と計算コストの間の強力なトレードオフを提供する。