自信息信息熵和相对熵
Posted zhaopac
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了自信息信息熵和相对熵相关的知识，希望对你有一定的参考价值。
1、自信息
一件事发生的概率越大，其所带的信息量就越小，反之发生的概率越小，信息量就越大。
自信息就是以概率p(x)观察到某一事件发生所携带的信息量，自信息也是概率越大信息量就越小，也可以理解为某个概率事件进行编码所需要的最小编码长度
2、信息熵／香农熵
熵是平均自信息量，
以上是关于自信息信息熵和相对熵的主要内容，如果未能解决你的问题，请参考以下文章
通俗理解交叉熵和KL散度(包括标签平滑的pytorch实现)
通俗理解交叉熵和KL散度(包括标签平滑的pytorch实现)