信息论小记
Posted z-sm
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了信息论小记相关的知识，希望对你有一定的参考价值。
知道一堆词汇里各个字出现的概率pi，则对这些字的最优编码下各字的位长（也即每个字包含的信息）为：
香农公式：
，知道各字的位长后，可依次给他们编码0、10、110...
这些字的平均编码长度为（也即信息量，或称信息熵）：
信息熵：
总结：信息是不确定性的度量，不确定性体现在概率分布上：概率分布越散，不确定性越大，从而信息量越大
以上是关于信息论小记的主要内容，如果未能解决你的问题，请参考以下文章