検証が失敗するとき：構成的に不可能な主張が却下を逃れる仕組み

Abstract

科学的主張の検証、すなわち主張が科学的証拠によって含意されるかどうかを判定する課題は、誤情報を防ぎつつ証拠に基づく発見を確立するための基礎となる。 このプロセスでは、各主張された制約を検証済みの証拠と突き合わせて評価する。 閉世界仮定（Closed-World Assumption, CWA）のもとでは、すべての主張された制約が肯定的に裏付けられている場合に限り、その主張は受理される。 本研究では、既存の検証ベンチマークが、この基準を厳密に満たすモデルと、salient-constraint checking（最も顕著な制約のみを見るという単純な近道）と呼ばれるより単純な近道を適用するモデルとを区別できないことを示す。 具体的には、salient-constraint checking は、CWA の否定（棄却）基準を最も顕著な制約にのみ適用し、その制約が裏付けられていれば受理する。 既存のベンチマークは、単一の顕著な要素を摂動させることで実現不可能な主張を構築するため、厳密な主張検証と、単に顕著な制約への依存に基づく単純な推論を区別するには不十分である。 この2つを分離するために、顕著な制約は裏付けられているが、非顕著な制約が否定されている、構成的に実現不可能な主張を作る。 モデルの系列やモダリティをまたいで、既存ベンチマークを満たすかあるいは飽和させることができてしまうモデルほど、これらの主張を一貫して過度に受理し、そのような近道推論が広く見られることが確認される。 モデルの文脈介入（model context interventions）を通じて、異なるモデルやプロンプト戦略が共有された ROC 曲線上の異なる位置を占めることを示し、モデル系列間のギャップが、根本的な推論能力の違いではなく、検証のしきい値の違いを反映していることを明らかにする。 また、構成的推論のボトルネックは、現在の検証行動の構造的な性質であり、戦略のガイダンスだけでは克服できないことを示す。