TDA-RC：大規模言語モデルにおける知識ベース推論チェーンのためのタスク駆動アラインメント

Abstract

大規模言語モデル（LLM）の推論能力を高めることは、自然言語処理における中核的な課題であり続けています。Chain-of-Thought（CoT）パラダイムは、その単一ラウンドでの効率の高さから実用的なアプリケーションを支配していますが、その推論チェーンにはしばしば論理的なギャップが見られます。Graph-of-Thoughts（GoT）、Tree-of-Thoughts（ToT）、Atom of Thought（AoT）といった多ラウンド・パラダイムは強力な性能を達成し、効果的な推論構造を明らかにしますが、その高いコストが実用上の利用を制限しています。この問題に対処するため、本論文では、推論チェーンを最適化するトポロジー（位相構造）に基づく手法を提案します。この枠組みは、効果的な推論に不可欠なトポロジー的パターンを、軽量なCoTパラダイムへ埋め込みます。永続ホモロジー（persistent homology）を用いて、CoT、ToT、GoTを統一された位相空間へ写像し、それらの構造的特徴を定量化します。その上で、統一的な最適化システムを設計します。すなわち、Topological Optimization Agentが、CoTチェーンが望ましいトポロジー的特性から逸脱している箇所を診断し、同時にそれらの構造的欠陥を修復するための狙いを定めた戦略を生成します。ToTやGoTのような多ラウンド推論手法と比べて、多数のデータセットにおける実験により、本アプローチは推論の正確さと効率の間で優れたバランスを提供し、「多ラウンドの知能による単一ラウンド生成」という実用的な解決策を示しています。