代价函数

Posted 2021-02-04 keye

损失函数，代价函数，目标函数区别

损失函数：定义在单个样本上，一个样本的误差。

代价函数：定义在整个训练集上，所有样本的误差，也就是损失函数的平均。

目标函数：最终优化的函数。等于经验风险+结构风险（Cost Function+正则化项）。

 

目标函数和代价函数的区别还有一种通俗的区别：

目标函数最大化或者最小化，而代价函数是最小化。

 

代价函数

代价函数（有的地方也叫损失函数，Loss Function）在机器学习中的每一种算法中都很重要，因为训练模型的过程就是优化代价函数的过程，代价函数对每个参数的偏导数就是梯度下降中提到的梯度，防止过拟合时添加的正则化项也是加在代价函数后面的。

 

1.什么是代价函数？

假设有训练样本(x, y)，模型为h，参数为θ。h(θ) = θ^Tx（θ^T表示θ的转置）。

（1）概括来讲，任何能够衡量模型预测出来的值h(θ)与真实值y之间的差异的函数都可以叫做代价函数C(θ)，如果有多个样本，则可以将所有代价函数的取值求均值，记做J(θ)。因此很容易就可以得出以下关于代价函数的性质：