局所的不整合解消:確率モデルにおける注意(Attention)と制御(Control)の相互作用

arXiv cs.AI / 2026/4/21

📰 ニュースIdeas & Deep AnalysisModels & Research

要点

  • 本論文は、確率モデルの一部に反復的に焦点を当て、制御下にあるパラメータで不整合を解消することで、学習と近似推論を行う汎用アルゴリズム「Local Inconsistency Resolution(LIR)」を提案する。
  • LIRは、不整合した信念を表現できる確率的依存関係グラフ(PDG)に基づいており、柔軟な表現基盤として構築されている。
  • 著者らはLIRが、EM、信念伝播、敵対的学習、GAN、GFlowNetsなどの複数の代表的手法を統一・一般化することを示し、各手法はLIRの特定のインスタンスとして再現できると述べている。
  • GFlowNetsでは、LIRによりより自然な損失関数が導かれ、その損失によりGFlowNetの収束が改善することを実証している。
  • 離散PDG向けに実装し、合成PDG上で性質を調べ、全PDGに対する大域的最適化(global optimization semantics)との比較も行っている。