机器学习中常见的损失函数

Posted 2021-04-03 AINotesClub

1月29日，外媒报道微软公开发行 DirectML 机器学习 API，微软预计约有超过2亿台设备可以使用DirectML API。可以预见，机器学习正在不知不觉间走进我们的生活。今天就来介绍一下机器学习中常见的损失函数。

损失函数是指导模型能够有效学习的基础，根据具体任务的不同可以选择或设计不同的损失函数，从而使模型可以从数据中学习到有价值的信息。今天先介绍两个常见的损失函数。

平方损失函数

平方损失函数的定义如下式所示：   这里的   是样本数量，它衡量的是模型预测的结果与标签之间的平方差，常用于回归类问题。

交叉熵损失函数

交叉熵，又称cross entropy损失，常用于分类问题中。实际问题中，分类模型通常输出的是类别的概率分布，而交叉熵衡量的是数据标签的真实分布与分类模型预测的概率分布之间的差异程度，损失值越小，它们之间的差异也就越小，模型就越能准确地进行类别预测。其离散的形式表示如下式：   其中，   和   分别表示数据标签的真实分布和模型预测给出的分布，   表示样本   标签的真实分布。上式可以简化为：

 这里的   即为样本所属的某个类别。

对于二分类来说，目标值只可能是1或0，那么我们就可以得到其逻辑回归的损失函数，也称为二元交叉熵损失：   好了，这里介绍了两个机器学习中特别常用的损失函数，之后的内容更精彩~

码字不易，欢迎关注AINotesClub。