代价函数

Posted keye

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了代价函数相关的知识,希望对你有一定的参考价值。

损失函数,代价函数,目标函数区别

损失函数:定义在单个样本上,一个样本的误差

代价函数:定义在整个训练集上,所有样本的误差,也就是损失函数的平均

目标函数:最终优化的函数。等于经验风险+结构风险(Cost Function+正则化项)。

 

目标函数和代价函数的区别还有一种通俗的区别:

目标函数最大化或者最小化,而代价函数是最小化。

 

代价函数

代价函数(有的地方也叫损失函数,Loss Function)在机器学习中的每一种算法中都很重要,因为训练模型的过程就是优化代价函数的过程,代价函数对每个参数的偏导数就是梯度下降中提到的梯度,防止过拟合时添加的正则化项也是加在代价函数后面的。

 

1.什么是代价函数?

假设有训练样本(x, y),模型为h,参数为θ。h(θ) = θTx(θT表示θ的转置)。

(1)概括来讲,任何能够衡量模型预测出来的值h(θ)与真实值y之间的差异的函数都可以叫做代价函数C(θ),如果有多个样本,则可以将所有代价函数的取值求均值,记做J(θ)。因此很容易就可以得出以下关于代价函数的性质:

 

以上是关于代价函数的主要内容,如果未能解决你的问题,请参考以下文章

66内容代价函数

目标函数损失函数代价函数

机器学习代价函数(cost function)

ceres solver 02 中代价函数和AutoDiffCostFunction的参数顺序

损失函数或者代价函数,正则化的作用

代价函数的直观理解