ANDRE：注意機構を用いた神経記号的な微分可能ルール抽出器

要旨: 帰納的論理プログラミング（ILP）は、データから解釈可能な一階述語（first-order）ルールを学習することを目的としていますが、既存の記号的およびニューラル・記号（neuro-symbolic）アプローチは、ノイズや確率的状況へのスケールに苦労しています。古典的ILPは離散的な組合せ的ルール探索に依存しており、不確実性下では脆さが目立ちます。一方、微分可能ILP手法は一般に、あらかじめ定義したルール・テンプレートや、誤ったファジー演算子に依存しがちで、その結果、勾配消失や、確率的述語の評価値に基づいて推論する際の論理構造の不適切な近似といった問題が生じます。本論文では、注意（attention）に基づくニューラル・記号的微分可能ルール抽出器（Attention-based Neuro-symbolic Differentiable Rule Extractor; ANDRE）を提案します。ANDREは、注意ベースの論理演算子により連続的なルール空間上で最適化することで、一階論理プログラムを学習する新しいILPフレームワークです。ANDREは、ルール・テンプレートと論理演算子の両方を置き換え、論理的なmin-maxセマンティクスを近似する、完全に微分可能で注意に駆動された連言（conjunction）および選言（disjunction）演算子を用います。これにより、確率データに対する推論を、正確・安定・かつ解釈可能なものとして実現できます。各ルールの中で述語を柔らかく選択したり、否定したり、排除したりすることで、ANDREは記号構造を維持しつつ柔軟なルール誘導を可能にします。確率的述語とノイズ付き教師信号を含む、大規模知識ベースや合成データセット、ならびに古典的ILPベンチマークに関する大規模な実験の結果、ANDREは、競争力のある、または優れた予測性能を達成しつつ、不確実性の下で正しい記号ルールを確実に復元できることが示されました。特にANDREは中程度のラベルノイズに対して頑健であり、ルール抽出の質と安定性の両面で、既存の微分可能ILP手法を大幅に上回ります。