Jensen-ShannonダイバージェンスはKLの何を直したのか？「向き」と「無限大」の解消
Qiita / 3/17/2026
💬 OpinionIdeas & Deep Analysis
Key Points
- Jensen-ShannonダイバージェンスはKLの向きの問題（非対称性）と発散が無限大になる問題を解消する手法であると解説されている。
- 2つの分布pとqの混合分布 m=(p+q)/2 を用いて、(1/2)KL(p||m)+(1/2)KL(q||m) の形で距離を定義する点が強調されている。
- この設計により、JSDは対称性をもち、pまたはqの確率が0でも有限になることが説明される。
- 実務上はKLより安定して評価指標として使える利点があり、機械学習の評価・比較での適用場面が増えると述べられている。
KLダイバージェンスを学ぶと、かなり早い段階で次の疑問が出てきます。
「KLは便利そうだけど、向きを変えると値が変わるし、0確率で無限大になるし、ちょっと扱いづらくない？」
その「扱いづらさ」をかなり自然に直したものが、Jensen-Shannonダイバージェンス（JSD）...
Continue reading this article on the original site.
Read original →
