KL散度(KL divergence, JS divergence)

Posted xiecl

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了KL散度(KL divergence, JS divergence)相关的知识,希望对你有一定的参考价值。

在信息论和概率论中,KL散度描述两个概率分布(P)(Q)之间的相似程度。
定义为:
[ D(p||q)=sumlimits_{i=1}^np(x)logfrac{p(x)}{q(x)}. ]



以上是关于KL散度(KL divergence, JS divergence)的主要内容,如果未能解决你的问题,请参考以下文章

机器学习基础熵KL散度交叉熵

pytorch代码中的KL-divergence与公式有啥关系?

概率分布之间的距离度量以及python实现

理解「交叉熵」损失函数(包含自信息信息熵KL散度交叉熵概念整理)

KL散度、JS散度、Wassertein距离

KL变换+PCA+关系