知識、規則とそれらの埋め込み：ニューロ-シンボリック JEPA への二つの道

要旨：現代の自己教師付き予測アーキテクチャは、高次元データから複雑な統計的相関を捉える点で優れている一方で、検証可能な人間の論理を内部化する仕組みを欠いており、偽の相関やショートカット学習に脆弱である。
一方、従来のルールベース推論システムは、厳格で解釈可能な論理を提供するが、離散的な境界とNP硬の組合せ爆発に悩まされる。
この分断を橋渡しするべく、ルールに基づく結合埋め込み予測アーキテクチャ（RiJEPA）を中心とした双方向のニューロ-シンボリックフレームワークを提案します。
第一の方向では、エネルギー駆動制約（EBC）とマルチモーダルデュアルエンコーダアーキテクチャを介して、JEPAの訓練に構造化された帰納的バイアスを注入します。
これにより表現多様体が根本的に再構成され、任意の統計的相関を幾何学的に妥当な論理的基盤へ置き換えます。
第二の方向では、硬く離散的なシンボリック規則を連続的で微分可能な論理へ緩和することにより、新しい規則生成の従来の組合せ探索を回避できることを示します。
規則エネルギー地形における勾配誘導 Langevin 拡散を活用することにより、連続的な規則発見の新しいパラダイムを導入し、無条件の共同生成、条件付き前方推論およびアブダクティブ推論、そして周辺的予測翻訳を可能にします。
合成的なトポロジーシミュレーションと臨床での高リスクなユースケースの両方における実証的評価は、我々のアプローチの有効性を裏付けている。
結論として、このフレームワークは、堅牢で生成的かつ解釈可能なニューロ-シンボリック表現学習のための強力な基盤を確立します。