連鎖を断ち切る: 中間構造に対するLLMの忠実性の因果分析

要約: スキーマ誘導推論パイプラインは、LLMs（大規模言語モデル）に最終決定を下す前に明示的な中間構造――採点基準、チェックリスト、検証クエリ――を作成するよう求めます。しかし、これらの構造は出力を因果的に決定するのか、それとも単に付随しているだけなのか？ この因果評価プロトコルを導入し、これを直接測定可能にします：中間構造を決定論的な関数が決定へ写像するタスクを選択することにより、制御された編集の一つ一つが一意の正しい出力を意味します。8つのモデルと3つのベンチマークにわたって、モデルは自分自身の中間構造と自己整合的に見えるものの、中間構造が介入された後に予測を更新できないケースが最大60％に達し、表面的な忠実さは中間構造が変わると脆弱であることを明らかにします。構造から最終決定の導出を外部ツールに委任すると、この脆さはほぼ消失します。しかし、元の入力より中間構造を優先させるよう求めるプロンプトは、ギャップを実質的に狭めません。総じて、スキーマ誘導パイプラインにおける中間構造は、安定した因果的媒介者というよりも、影響力のある文脈として機能します。