机器学习-交叉熵原理

Posted xbit

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了机器学习-交叉熵原理相关的知识,希望对你有一定的参考价值。

 

参考了这个博客:https://blog.csdn.net/tsyccnh/article/details/79163834

主要用于多分类、单分类任务中,计算loss,交叉熵定义如下:

技术分享图片

其中:

  • p是实际概率,在机器学习中通常为label值,且取值为0或则1
  • q是预测概率,在机器学习中通常为预测结果,通常取值(0,1)

 

以上是关于机器学习-交叉熵原理的主要内容,如果未能解决你的问题,请参考以下文章

机器学习深度学习中的信息熵相对熵(KL散度)交叉熵条件熵

机器学习 什么是Cross Entropy 交叉熵

机器学习:交叉熵损失函数

机器学习 | 交叉熵公式

机器学习 | 交叉熵公式

机器学习15 逻辑回归与交叉熵