SymCircuit：エントロピー正則化強化学習による、扱いやすい確率回路のためのベイズ構造推論

要旨: 確率回路（PC）の構造学習は、不可逆で局所的に最適な判断を行う貪欲アルゴリズムによって妨げられています。そこで我々は、学習済みの生成ポリシーによって貪欲探索を置き換える SymCircuit を提案します。このポリシーは、エントロピー正則化付き強化学習によって訓練されます。PC 領域において RL-as-inference フレームワークを具体化することで、最適ポリシーは「温めた（tempered）ベイズ事後分布」であることを示します。正則化温度をデータセットサイズに反比例するように設定すると、正確な事後分布が復元されます。このポリシーは SymFormer として実装されます。SymFormer は、文法に制約を課した自己回帰型 Transformer であり、ツリー相対自己注意（tree-relative self-attention）を備えていて、生成の各ステップで常に有効な回路が得られることを保証します。さらに、オプションレベルの REINFORCE を導入し、全トークンではなく構造上の意思決定に対してのみ勾配更新を制限します。これにより、SNR（信号対雑音比）が向上し、NLTCS データセットで >10 倍のサンプル効率の改善が得られました。3層の不確実性分解（モデル平均による構造的不確実性、デルタ法によるパラメトリック不確実性、共役 Dirichlet-Categorical 伝播によるリーフ不確実性）は、PC 出力の多線形多項式構造に基づいています。NLTCS では、SymCircuit は LearnSPN との差（ギャップ）を 93% 閉じます。Plants（69 変数）に関する予備結果ではスケーラビリティが示唆されています。