机器学习基石笔记-chapter 1 The learning problem

Posted 2020-09-23 Akane

论证了在有noise的情形下，机器依然可以学习。然后介绍了error 的几种衡量方法。

 

想象在抽取弹珠的过程中，弹珠会不断地变色，那么在抽出来的时刻，它的颜色对应一个概率分布。

类比到有noise的情形，就是 对一个x，本来是确定的，加入noise后， 对应到了一个概率分布。

即便如此，在变色弹珠抽样中，抽出来的时刻的弹珠颜色占比仍然能估计出总体此刻的颜色占比，只要每一个弹珠的颜色分布都是iid的。

，那就是说 |Ein - Eout| 仍然能够符合vc bound.

 

称P(y|x)为目标分布，在例子中，根据P(y|x)可以得到 ideal mini-target f(x)。

 

学习的目标变成了 在常见的点上预测 ideal mini-target f(x).

 

error measure

衡量g的好坏，看g在out of sample上的错误率，通常是对每一个x算错误率后取均值。

在二分类中，错误用0/1来衡量。

 

两个常见的pointwise error衡量方法，0/1 error通常用于分类，平方error通常用于回归。

measure选取不一样，最终 ideal mini-target  f(x)  也会不一样。

 

因此可以说 error measure用来指导算法A进行学习。

至于为什么VC理论在更多的H和error上能够work还搞不懂。。

 

应该如何设计error measure呢？

true err 真正量化出来基本是不可能的，所以实际中常常使用plausible或者friendly（对算法来说容易求解）的方法，这样得到的是err^，而非err，是对err的估计或者逼近。