机器学习基石4-在何时才能使用机器学习

Posted 2020-10-17 tmortred

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了机器学习基石4-在何时才能使用机器学习相关的知识，希望对你有一定的参考价值。

向杜少致敬!

Lecture 4: Feasibility of Learning

4.1. Learning is Impossible?

图 4-1

Q1：在训练集（in-sample）能找到一个 g ≈ f, 但是你不能保证在应用数据（out-sample）还有 g ≈ f 。

Q2：就算在某种约束下，你能保证在应用数据（out-sample） g ≈ f。如果我有多个 g ≈ f，即 g₁≈ f、g₂≈ f、g₃≈ f、… g_n ≈ f。如何找到在 out-sample 上性能最好的 g_opt 呢？

4.2. Probalility to the Rescue

learning 是做不到的！但是我们可以想一下，有没有学习用少量的已知的事实去推测整个样本的情况？现在给你一个罐子，你能给出黄绿弹珠所占的比例是多少？假设黄绿弹珠的分布较均匀，可以通过抽样的方法获取黄绿弹珠的比例。

图 4-2

假设在抽出的样本中 orange marble 的比例是 v， green marble 的比例是 1 -v。罐子中的 orange marble 的比例是 μ， green marble 的比例是 1-μ。

v 和 μ 基本不相同，那要在什么样的条件下？ v 和 μ 才能足够的接近？在数学中有个 Hoeffding\'s Inequality 能刻画出 v 和 μ 的接近程度。

$$ \\mathbb{P} [|\\nu -\\mu |] \\leqslant 2 exp(-2\\epsilon^2N) $$

公式 4-1

Hoeffding 不等式的良好性质：

　　 1. 只和 N、ε有关，和 μ、ν 无关

2. N 越大或 ε 越大， v 和 μ 大概近似正确（probably approximately correct PAC）

Q3：HOeffding 不等式和切比雪夫不等式的关系？

Q4：回忆一下以前学过的中心极限定理、大数定理

4.3. Connection to Learning

上一节，我们一直在玩弹珠游戏。这个和机器学习有什么关系呢？

假设我们有一罐白色弹珠，这些弹珠有某些性质。我们准备用机器学习去预测这些弹珠的性质。假设我们有个 g，如果 g(x) = f(x) 则将弹珠染绿并放到罐子 B 中，如果 g(x) != f(x) 则将弹珠染黄并放到 B 中。最终我们会得到罐子 B 会如下图所示。

图 4-3

现在有一罐装满黄绿弹珠的罐子， orange marble 代表我们预测这个 marble 时出错了， green marble 代表我们成功地预测这个 marble。这样就回到上一节。

现在，我们可以保证在 in-sample 上 g 和 f 的 pac 近似。但是我们不能保证 g 和 f 的差别不大。如果说 orange marble 的出现概率在 in-sample 和 out-sample 是 pac 近似正确，但是 orange marble 的比例很大。这也不是我们想要的， orange 出现比例越大说明 g 越不准确。而且我们是用一个固定的 g ，没有学习的过程。不能算是学习，当然也不会是机器学习

4.4. Connection to Real Learning

图 4-4

4.3 节时，我们不能保证选取那一个 h 和 f 足够的接近，我们将所有的 h 拿出来给白色罐子染色。假设我们对某个罐子 sample 出来的 marble 全是 green。是不是就可以说这个罐子对应的 h 就是我们想要的？

因为有 Hoeffding 不等式，从直觉上来说这应该是对的。

图 4-5

假设有150个人同时丢五次硬币，统计其中有一个人丢出五次全部正面向上的概率是多少，不难得出一个人丢出五次正面向上的概率为 1/32。在 150 人有一个人投出全是正面的概率为 1 - (31/32)¹⁵⁰ > 99%。

这说明在图 4-5 中，某个罐子中 sample 出来的 marble 全是 green。也不能说明这个罐子对应的 h 是好的。我们将这种 E_in 和 E_OUT 差别很大的 sample 起个新名字 —— BAD SAMPLE。现在我们引入一个新的 concept BAD DATA，以及简单地看下它的性质（也就是看图不说话）

图 4-6

将每次抽样的数据集称做 DATA，如果在这个 DATA 上E_in 和 E_OUT far away，我们称之为 BAD DATA。根据 Hoeffding 不等式，BAD DATA 出现概率非常的小。

图 4-7

如果某个 DATA 在某个 h 表现不好，就将 DATA 标记为 BAD。现在我们想知道在整个 hypothesis 空间上，踩到雷的概率上限是多少？

在 hypothesis 有 M 个h，那么可以得出踩雷的上限如公式 4-2 所示

$$ \\mathbb{P_\\mathcal{D}} [BAD \\mathcal{D}] \\leqslant 2 exp(-2\\epsilon^2N) + 2 exp(-2\\epsilon^2N) + ... + 2 exp(-2\\epsilon^2N) = 2M exp(-2\\epsilon^2N) $$

公式 4-2

如果 M 是有限的， E_in = E_OUT 是 PAC，和具体的 hypothesis 无关。在这种情况下，学习策略是选择 E_in 最小的 g。对于有无限 hypothesis 的讨论在未来的课程。