04 Feasibility of Learning

Posted 2021-02-17 huangshansan

一.Learning is Impossible?

机器学习的目标：演算法A根据给定数据集D从假设空间H中选择一个与f最为接近的g，还要保证g与f在给定数据集之外的数据上表现也相似。

在资料以外的部分，g和f一不一样是不知道的，因为f是不知道的，但是我们想要知道资料以外的部分g和f是否接近，因此需要加一些假设：

霍夫丁不等式：有一个装有绿色小球和黄色小球的罐子（假设球数无限），从中进行N次有放回的取球实验，在这N次实验中取出黄色小球的频率为ν，只要N足够大，就可以用ν来估计μ，即罐子中黄色小球的实际概率。

足够大的N或者足够小的范围=>v和μ有很大的可能性是相似的。

将霍夫丁不等式与学习相联系，当h选定时，保证D里样本数N足够大且样本点是独立同分布的，就能保证h在整个输入空间里的表现（异常点的概率）与数据集内的表现（D里异常点的频率）在一定的概率范围内近似相等。

 以上只是说明了当g给定时，验证g和f在输入空间上接不接近，但并没有学习如何从假设空间中挑选与f最接近的h作为g。