因果ハルシネーションを緩和するための効果的なCoTトレースの生成

概要: 大規模言語モデル（LLM）は複雑な推論タスクにおいて優れていますが、事象因果関係の同定（ECI）においては、特に小規模モデル（24\leq1.5Bパラメータ）で、重大な因果幻覚（causal hallucination）に悩まされています。この問題に対処する有望なアプローチは、Chain-of-Thought（CoT）トレースでそれらを微調整することです。しかし、ECI向けのCoTトレース・データセットが現時点では不足しています。本論文では、まず、小規模モデルにおける因果幻覚を緩和するために有効なCoTトレースが備えるべき本質的な基準を調査します。次に、これらの基準を満たすCoTトレースを生成するためのパイプラインを設計します。さらに、因果幻覚を定量化するための指標が現在存在しないため、因果幻覚率（Causal Hallucination Rate: CHR）という新しい指標も導入します。これにより、効果的なCoTトレース基準の定式化を導き、提案パイプラインの有効性を検証します。実験の結果、提案パイプラインで生成したCoTトレースによる微調整は、小規模LLMにおける因果幻覚を大幅に低減するだけでなく、平均精度も向上させることが示されます。さらに、微調整済みモデルは、データセット間および難易度間における強力な汎化能力を示すとともに、誤誘導的な介入プロンプト下でも頑健です。