ステップワイズ推論のためのLLM潜在空間における因果概念グラフ
arXiv cs.LG / 2026/3/12
💬 オピニオンIdeas & Deep AnalysisModels & Research
要点
- 著者らは、LLMのステップごとの推論過程における概念間の因果相互作用をモデル化するため、疎な潜在特徴上の有向非巡回グラフである因果概念グラフ（CCG）を提案します。
- 概念発見のためのタスク条件付き疎オートエンコーダと、DAGMA風の微分可能構造学習を組み合わせ、グラフを復元します。
- グラフに基づく介入が下流の結果に与える影響を定量化する因果忠実度スコア（CFS）を導入し、ランダムなベースラインよりも大きな効果を示します。
- ARC-Challenge、StrategyQA、およびLogiQAにおいて、GPT-2 Mediumを用い、5つのシードで評価したところ、CCGはベースラインより有意なCFSの改善を示し、Bonferroni補正後のp値は0.0001未満でした。
- 学習されたグラフは疎で（エッジ密度約5-6％）、ドメイン特有であり、シードをまたいでも安定しています。
アブストラクト：スパースオートエンコーダは、概念が言語モデル内のどこに存在するかを局在化できるが、マルチステップ推論の過程でそれらがどのように相互作用するかは特定できない。私たちは因果概念グラフ（CCG）を提案する。これは、疎で解釈可能な潜在特徴上の有向非巡回グラフで、エッジは概念間の学習された因果依存関係を表します。概念発見のためのタスク条件付き疎オートエンコーダと、グラフ復元のためのDAGMA風の微分可能構造学習を組み合わせ、グラフの妥当性を評価するための因果忠実度スコア（CFS）を導入します。ARC-Challenge、StrategyQA、LogiQAでGPT-2 Mediumを用い、5つの種（n=15のペア実行）にわたり、CCGはCFS=5.654±0.625を達成し、ROME風のトレース（3.382±0.233）、SAEのみのランキング（2.479±0.196）、およびランダムベースライン（1.032±0.034）を上回り、Bonferroni補正後のp値は0.0001未満である。学習されたグラフは疎（エッジ密度5-6%）、ドメイン特有で、種を跨いでも安定している。
