LLMをASPプログラマーに：自己修正がタスク非依存の非単調推論を可能にする

Abstract

最近の大規模言語モデル（LLM）は推論における目覚ましい到達を果たしている一方で、高い計算コスト、論理的不整合、そして高複雑度の問題に対する鋭い性能劣化に引き続き苦しんでいます。神経記号論的手法はLLMを記号推論器と結合することでこれらの課題を緩和しようとしていますが、既存のアプローチの多くは、（例：SMT）欠缺（deefeasible）推論を表現できない単調論理に依存しています。欠缺推論は人間の認知に不可欠な要素です。私たちは「LLM+ASP」という枠組みを提案します。これは自然言語を、安定モデル意味論に基づく非単調形式主義である答集合プログラミング（ASP）へと変換します。従来の「LLM+ASP」アプローチが、手作業で作成された知識モジュールやドメイン固有のプロンプトを必要としたり、評価が単一の問題クラスに限定されていたりするのに対し、私たちの枠組みはタスクごとのエンジニアリングを一切要せず、幅広い推論タスクに対して一様に適用できます。私たちのシステムは、自動化された自己修正ループを利用し、ASPソルバから構造化されたフィードバックによって反復的に改良できるようにしています。6つの多様なベンチマークで評価した結果、次のことを示します： (1) 安定モデル意味論により、LLMはデフォルト規則と例外を自然に表現でき、非単調タスクにおいてSMTベースの代替手法を大幅に上回ります； (2) 反復的な自己修正が性能の主たる駆動要因であり、手作りのドメイン知識を必要とすることを実質的に置き換えます； (3) 簡潔なインコンテキスト参照ガイドは、冗長なドキュメントを大きく上回り、過剰なコンテキストが制約遵守を妨げる「コンテキスト・ロット（context rot）」現象を明らかにします。