DeltaLogic：最小限の前提編集が論理推論モデルにおける信念改訂の失敗を明らかにする

要旨: 推論ベンチマークは通常、モデルが固定された前提集合から正しい答えを導き出せるかどうかを評価しますが、動的な環境において重要になる密接に関連した能力を過小評価しています。それは、最小限の証拠の変化のもとでの信念改訂です。我々は、自然言語の推論例を短い改訂エピソードへ変換するベンチマーク変換プロトコルであるDeltaLogicを導入します。各エピソードはまず、前提Pのもとでの初期結論を求め、次に最小の編集{
}（{\delta}(P)）を適用し、最後に、先の結論を安定させるべきか、それとも改訂すべきかを尋ねます。DeltaLogicはFOLIOおよびProofWriterから実装し、ラベル付与スコアを制約した小規模因果言語モデルを評価します。完了した30エピソードのQwen評価サブセットにおいて、より強い初期推論は必ずしもより強い改訂挙動を意味しません。Qwen3-1.7Bは初期精度が0.667に到達する一方で、改訂精度は0.467にとどまり、金のラベルが変わるべきエピソードでは慣性が0.600まで上昇します。一方でQwen3-0.6Bは、ほぼ普遍的な棄権へと崩れます。そこで、Qwen3-4Bは同じ慣性の失敗パターンを維持します（初期0.650、改訂0.450、慣性0.600）。一方、Phi-4-mini-instructは大幅に強く（初期0.950、改訂0.850）ですが、それでも実質的な棄権と制御不安定性を示します。これらの結果は、固定された前提のもとでの論理的能力が、局所的な証拠編集後の規律ある信念改訂を必ずしも意味しないことを示唆しています。したがってDeltaLogicは、既存の論理推論および信念更新ベンチマークを補完する、別個で実務上重要な推論能力を対象とします。