代价函数
Posted keye
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了代价函数相关的知识,希望对你有一定的参考价值。
损失函数,代价函数,目标函数区别
损失函数:定义在单个样本上,一个样本的误差。
代价函数:定义在整个训练集上,所有样本的误差,也就是损失函数的平均。
目标函数:最终优化的函数。等于经验风险+结构风险(Cost Function+正则化项)。
目标函数和代价函数的区别还有一种通俗的区别:
目标函数最大化或者最小化,而代价函数是最小化。
代价函数
代价函数(有的地方也叫损失函数,Loss Function)在机器学习中的每一种算法中都很重要,因为训练模型的过程就是优化代价函数的过程,代价函数对每个参数的偏导数就是梯度下降中提到的梯度,防止过拟合时添加的正则化项也是加在代价函数后面的。
1.什么是代价函数?
假设有训练样本(x, y),模型为h,参数为θ。h(θ) = θTx(θT表示θ的转置)。
(1)概括来讲,任何能够衡量模型预测出来的值h(θ)与真实值y之间的差异的函数都可以叫做代价函数C(θ),如果有多个样本,则可以将所有代价函数的取值求均值,记做J(θ)。因此很容易就可以得出以下关于代价函数的性质:
以上是关于代价函数的主要内容,如果未能解决你的问题,请参考以下文章