cross-entropy（交叉熵）是什么？用了表征什么东西？
Posted Data+Science+Insight
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了cross-entropy（交叉熵）是什么？用了表征什么东西？相关的知识，希望对你有一定的参考价值。
cross-entropy（交叉熵）是什么？用了表征什么东西？
一句话概括：softmax把分类输出标准化成概率分布，cross-entropy（交叉熵）刻画预测分类和真实结果之间的相似度（只不过用距离来刻画相似）。
cross-entropy 不是机器学习独有的概念，本质上是用来衡量两个概率分布的相似性的。
softmax 和 cross-entropy 本来没有太大的关系，只是把两个放在一起实现的话，算起来更快，也更数值稳定。同理sigmoid+cross-entropy
理解推到下一下softmax具体公式，可知，多分类简化成二分类时候softmax公式就转化为sigmoid公式，损失函数由cross entropy 转化为binary cross entropy的形式。
交叉熵损失是分类任务中的常用损失函数，但是是否注意到二分类与多分类情况下的交叉熵形式上的不同呢？
相对熵(relative entropy)又称为KL散度（Kullback-Leibler divergence），KL距离
以上是关于cross-entropy（交叉熵）是什么？用了表征什么东西？的主要内容，如果未能解决你的问题，请参考以下文章
彻底理解 softmax、sigmoid、交叉熵（cross-entropy）
sklearn基于make_scorer函数为Logistic模型构建自定义损失函数+代码实战（二元交叉熵损失 binary cross-entropy loss）
[Reinforcement Learning] Cross-entropy Method