损失函数, 成本函数, 目标函数的区别
Posted schips
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了损失函数, 成本函数, 目标函数的区别相关的知识，希望对你有一定的参考价值。
背景
在机器学习中经常会碰到“损失函数”,“成本函数”, 和“目标函数”。在学习中理解概念是至关重要的。
todo
解析
1、“损失函数”一般是指对单个样本的做的损失
[ |y_i-f(x_i)| ]
2、“成本函数”一般是数据集上总的成本和损失
[
1/Ncdotsum_{i=1}^{N}{|y_i-f(x_i)|} + 正则项
]
3、“目标函数”是一个非常广泛的名称
一般我们都是先确定一个“目标函数”，再去优化它。比如在不同的任务中“目标函数”可以是：
– 最大化后验概率MAP(比如朴素贝叶斯)
– 最大化适应函数(遗传算法)
– 最大化回报/值函数（增强学习）
– 最大化信息增益/减小子节点纯度(CART 决策树分类器)
– 最小化平方差错误成本（或损失）函数（CART，决策树回归，线性回归，线性适应神经元）
– 最大化log-相似度或者最小化信息熵损失（或者成本）函数
– 最小化hinge损失函数（支持向量机SVM）
以上是关于损失函数, 成本函数, 目标函数的区别的主要内容，如果未能解决你的问题，请参考以下文章