要旨: 高次元かつ複雑な離散分布は、内在する不連続性により、多峰性の挙動を示すことがしばしばあり、サンプリングに大きな困難をもたらします。勾配に基づく離散サンプラーは有効である一方で、起伏が激しい、または連結していないエネルギー地形に直面すると、局所モードに閉じ込められてしまうことが頻繁に起こります。これにより、高次元の多峰性離散空間において、適切な混合と収束を達成する能力が制限されます。これらの課題に対処するために、我々は
\emph{ハイパボリック・セカント二乗ギブス・サンプリング(HiSS)} を提案します。これは、混合効率を高めるために
\emph{Metropolis-within-Gibbs(ギブス内メトロポリス)} の枠組みを統合した、新しい一群のサンプリングアルゴリズムです。HiSS は、ロジスティック畳み込みカーネルを活用して、離散サンプリング変数を連続補助変数と結びつけ、結合分布の中でそれらを扱います。この設計により、補助変数が真のターゲット分布を包含できる一方で、遠く離れていて連結していないモード間でも容易に遷移できるようになります。収束に関する理論的保証を提示し、さらに実験的に、HiSS がアイジング模型、二値ニューラルネットワーク、組合せ最適化を含む幅広いタスクにおいて、多くの人気手法よりも優れていることを示します。
隙間を這い抜ける:ロジスティック・ブリッジングによって離散的に孤立したモードを捉える
arXiv cs.LG / 2026/4/14
📰 ニュースIdeas & Deep AnalysisModels & Research
要点
- 本論文は、高次元の離散分布における中核的なサンプリング問題を特定する。すなわち、固有の不連続性により、切断された、あるいは起伏の激しいエネルギー地形が生じ、その結果として勾配に基づくサンプラが局所モードに行き詰まる。
- 距離的に離れた孤立モード間での混合を改善するために、メトロポリス・ウィズイン・ギブス(Metropolis-within-Gibbs)方式を用いる新しいサンプリング手法ファミリ「HiSS(Hyperbolic Secant-squared Gibbs-Sampling)」を提案する。
- HiSSは、離散変数と連続補助変数を結合するためのロジスティック畳み込みカーネルを用いる。これにより、補助変数が目標分布を表現できると同時に、モード遷移をより滑らかに可能にする。
- 著者らは収束に関する保証を提示し、実験結果として、HiSSがイジング模型、二値ニューラルネットワーク、そして組合せ最適化タスクにおいて、多くの既存手法よりも優れていることを報告している。


