モデルは「歩け」と言う：表層ヒューリスティックがLLM推論における暗黙の制約を上書きする方法

Abstract

大規模言語モデルは、顕著な表層的合図が、述べられていない実行可能性の制約と矛盾するとき、体系的に失敗します。私たちはこれを、診断（diagnose）・測定（measure）・架橋（bridge）・治療（treat）の枠組みで研究します。6つのモデルにまたがる「カーワッシュ問題」の因果的な行動分析により、約文脈非依存のシグモイド状ヒューリスティックが明らかになります。距離の合図は目標より8.7〜38倍強い影響を及ぼし、トークン単位の帰属は、構成的推論よりもキーワード関連のパターンとより整合的です。ヒューリスティック・オーバーライド・ベンチマーク（HOB）――最小ペアと明示性グラデーションを備えた、4つのヒューリスティック×5つの制約ファミリーにまたがる500インスタンス――は、14のモデルすべてに対して一般性を示します。厳格な評価（10/10正解）では、いかなるモデルも75%を超えず、制約の存在（presence）では最も難しく（44%）なります。最小限のヒント（例：主要な対象を強調すること）により平均で+15 ppが回復し、失敗の原因が知識の欠落ではなく、制約推論にあることを示唆します。制約を取り除くと、12/14のモデルがより悪化します（最大-39 pp）。これは保守的バイアスを明らかにします。パラメトリック・プローブは、シグモイド状のパターンが、コスト、効率、意味的類似性のヒューリスティックにも一般化することを確認します。目標分解を促すプロンプトは、答える前に前提条件を列挙するよう強制することで、+6〜9 ppの回復をもたらします。これらの結果を通じて、ヒューリスティック・オーバーライドを、体系的な推論上の脆弱性として特徴づけるとともに、それを解消するための進展を測定するベンチマークを提供します。