ガウス摂動下におけるKLダイバージェンスの最適安定性

要旨: 本論文では、ガウス族を超えたガウス摂動下でのクルバック・ライブラー（KL）ダイバージェンスの安定性を特徴付ける問題を研究する。KLダイバージェンスに対する既存の緩和された三角不等式は、関与するすべての分布がガウスであるという仮定に決定的に依存しており、そのため、フローベースの生成モデルを用いた分布外（OOD）検出のような現代的な応用における適用可能性が制限されている。本論文では、この制限を、弱いモーメント条件のもとで任意の分布とガウス族のあいだの鋭い安定性評価を確立することで取り除く。具体的には、Pを有限の2次モーメントをもつ分布とし、
\mathcal{N}_1と\mathcal{N}_2を多変量ガウス分布とする。KL(P||\mathcal{N}_1)が大きく、かつKL(\mathcal{N}_1||\mathcal{N}_2)が高々epsilonであるならば、KL(P||\mathcal{N}_2) \ge KL(P||\mathcal{N}_1) - O(\sqrt{\epsilon})が成り立つことを示す。さらに、この\sqrt{\epsilon}のレートは一般に最適であり、ガウス族の内部でさえも成り立つことを証明する。本結果は、ガウス摂動のもとでのKLダイバージェンスに固有の安定性の性質を明らかにし、古典的な「ガウスのみ」による緩和された三角不等式を一般の分布へと拡張する。KLダイバージェンスは非対称であり、一般の確率空間では三角不等式が存在しないため、この結果は自明ではない。応用として、フローベースのモデルにおけるKLベースのOOD解析に対する厳密な基礎を与え、先行研究で用いられていた強いガウス仮定を取り除く。より広く言えば、本結果は、深層学習や強化学習において生じる非ガウスな設定においてKLベースの推論を可能にする。