机器学习基石:08 Noise and Error

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了机器学习基石:08 Noise and Error相关的知识,希望对你有一定的参考价值。

噪声:误标、对同一数据点的标注不一致、数据点信息不准确......
噪声是针对整个输入空间的。
技术分享
存在噪声的情况下,VC bound依旧有用:
存在噪声,就是f--->p(y|x),f是p的特殊情况:如p(0|x)=1,p(1|x)=0。
VC bound本身就不管f的。
其实,推VC bound的时候第3步使用的是不放回的霍夫丁不等式,不要求独立同分布。
参照口袋算法,可以表明存在噪声情况下,VC bound依旧有用。
技术分享技术分享
错误/代价:分类常用0/1错误,回归常用均方误差。
技术分享
false positive/false accept:标签为-1,输出为+1。
false negative/false reject:标签为+1,输出为-1。
------false是指输出与实际标签不一致,positive为+,negative为-。
 
根据实际应用,对上面2种错误的惩罚一般是不一样的。
但是,对于真正的错误err,用户难以量化惩罚比例,可由我们选择合理的或者有益于算法的,记为err帽,作为err的近似。
技术分享技术分享
加权分类:
分类时进行错误衡量时,对false positive和false negative的惩罚不都是1。
如加权口袋算法,
0/1错误衡量保证了PA能够停止,那加权错误衡量如何保证加权PA能够停止呢?
可通过virtual examples copying转化为0/1错误衡量方式。
原始问题里D中每个样本点被访问的概率相等,virtual copy后D中标签值为-1的点被访问的概率变高,
但是PLA、PA都是要遍历一轮数据的,概率变化对算法影响不大。
技术分享技术分享
 

以上是关于机器学习基石:08 Noise and Error的主要内容,如果未能解决你的问题,请参考以下文章

机器学习基石-5

机器学习基石笔记-Lecture 10 Logistic regression

机器学习基石机器学习的种类

机器学习基石泛化理论

机器学习基石机器学习的可行性

《机器学习基石》---Linear Models for Classification