JS散度
Posted 懵懂的菜鸟
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了JS散度相关的知识,希望对你有一定的参考价值。
JS散度解决了KL不对称的问题,JS是对称的。
很明显,如果P1,P2完全相同,那么JS =0, 如果完全不相同,那么就是1.
JS散度是有界的:
但是KL和JS散度来度量时候有一个问题:
如果两个分配P,Q离得很远,完全没有重叠的时候,那么KL值是没有意义的,而JS值是一个常数。这在学习算法中是比较致命的,这就意味这这一点的梯度为0。梯度消失了。
以上是关于JS散度的主要内容,如果未能解决你的问题,请参考以下文章
KL散度(KL divergence, JS divergence)