机器学习 | 交叉熵公式
Posted AI算法攻城狮
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了机器学习 | 交叉熵公式相关的知识，希望对你有一定的参考价值。
交叉熵：设p(x)、q(x)是X中取值的两个概率分布，则p对q的相对熵是：
在一定程度上，相对熵可以度量两个随机变量的“距离”，且有D(p||q) ≠D(q||p)。另外，值得一提的是，D(p||q)是必然大于等于0的。
互信息：两个随机变量X，Y的互信息定义为X，Y的联合分布和各自独立分布乘积的相对熵，用I(X,Y)表示：
且有I(X,Y)=D(P(X,Y)||P(X)P(Y))。下面，咱们来计算下H(Y)-I(X,Y)的结果，如下：
以上是关于机器学习 | 交叉熵公式的主要内容，如果未能解决你的问题，请参考以下文章