AS2 -- アテンション機構に基づくソフト解集合: エンドツーエンドの微分可能なニューラル・ソフトシンボリック推論アーキテクチャ

要旨: ニューラルシンボリックAI（AI）システムは通常、ニューラル知覚モジュールを非微分可能な境界を介して離散的な記号ソルバーと結合し、訓練中に制約充足のフィードバックが知覚エンコーダに到達するのを妨げる。私たちは AS2（Attention-Based Soft Answer Sets、アテンションベースのソフト回答集合）を導入する。これは離散的なソルバーを Answer Set Programming（ASP）の即時帰結演算子 T_P のソフトで連続的な近似に置き換える、完全に微分可能なニューラル-シンボリックアーキテクチャである。AS2 はフォワードパス全体で有限記号ドメイン上の各位置の確率分布を維持し、T_P の確率的リフトの不動点残差を最小化することでエンドツーエンドの訓練を行い、訓練時または推論時のいずれの時点でも外部ソルバーを呼び出すことなく、制約チェックを微分可能に伝搬させる。アーキテクチャは従来の位置埋め込みを完全に排除している。代わりに、問題構造を制約グループの所属埋め込みを通じてエンコードし、宣言的 ASP 仕様を直接反映させるため、任意の位置インデックスにはモデルは頑健である。Visual Sudoku では、AS2 は 1,000 のテストボードにわたり 99.89% のセル精度と 100% の制約充足（Clingo によって検証）を達成し、外部ソルバーを必要としない貪欲な制約付きデコード手順を使用する。MNIST の加算で N
\in \{2, 4, 8\} 加数の場合、AS2 はすべてのスケールで 99.7% を超える数字認識精度を達成する。これらの結果は、ソフトで微分可能な不動点演算子と、制約認識型の注意、および宣言的な制約仕様を組み合わせることで、パイプラインおよびソルバー ベースのニューラル-シンボリック系と同等またはそれを上回る性能を、完全なエンドツーエンド微分可能性を維持しつつ実現できることを示している。