Flying Pigs, FaR and Beyond: 反実仮想の世界におけるLLM推論の評価
arXiv cs.CL / 2026/3/25
💬 オピニオンIdeas & Deep AnalysisModels & Research
要点
- 本論文は、大規模言語モデルが、プロンプトがモデルの学習済みパラメトリック知識と矛盾する反実仮想（「Counterfactual Worlds」）の設定下でも、論理的推論を維持できるかを調査する。
- 「CounterLogic」ベンチマークを導入し、著者らは11のLLMを評価した結果、知識と整合する条件と比べて反実仮想精度が一貫して約14%低下することを見出す。
- 結果は、主な問題が論理計算そのものではなく、提示された文脈と内部知識の間に生じる認知的な葛藤を扱うことの難しさであることを示唆している。
- 人間のメタ認知に着想を得て、本論文では2段階のプロンプト手法「Flag & Reason（FaR）」を提案する。まずモデルが潜在的な知識の不一致を指摘し、その後で推論を行う。
- FaRは頑健性を大幅に改善し、性能差をおよそ7%まで縮小し、標準的なプロンプトと比べて全体の精度を約4%向上させる。
