K-L散度（相对熵）

Posted Data+Science+Insight

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了K-L散度（相对熵）相关的知识，希望对你有一定的参考价值。

K-L散度（相对熵）

 

KL散度(Kullback–Leibler divergence，KLD)也被称为相对熵

它表示2个函数或概率分布的差异性：差异越大则相对熵越大，差异越小则相对熵越小，特别地，若2者相同则熵为0。注意，KL散度的非对称性。

注意：作者举了一个很有意思的例子来说明什么是KL散度

注意

以上是关于K-L散度（相对熵）的主要内容，如果未能解决你的问题，请参考以下文章

GAN相关知识点总结--散度（相对熵）

深度学习K-L 散度

相对熵（KL散度）

K-L 散度

KL散度

机器学习深度学习中的信息熵相对熵（KL散度）交叉熵条件熵