机器学习著名定理之—No Free Lunch定理详解

Posted 2022-02-27 鬼道2022

引言

 谈到机器学习一个非常著名的定理，那就不得不提No Free Lunch定理了。该定理核心思想是没有一种通用的学习算法可以在各种任务中都有很好的表现，需要对具体问题进行具体的分析。从原理出发去理解AI算法可以能够对AI相关的问题有更深刻的认识，像这种基于严格数学证明推导出的结论，尤其值得重视。翻阅了大量的相关材料力求让该定理的证明过程更加完整（需要注意的是该定理核心证明步骤中用到了一个修改版本的马尔可夫不等式），相关的材料列在文末。

No Free Lunch定理证明

定理（No Free Lunch）: 假定$\mathcal{A}$是一个在域$\mathcal{X}$的二分类任务中任意一个机器学习算法，其损失函数为$0\text{-}1$损失。令$n$是一个大小为$|\mathcal{X}|/2$的训练集，存在域$\mathcal{X}$中的分布$\mathcal{D}$，则有
（1）存在一个函数$f:\mathcal{X}\to 0,1$，且有$L_{\mathcal{D}}(f)=0$。
（2）对于子列${\mathcal{S}\sim \mathcal{D}}^n$，则概率不等式$P(L_{\mathcal{D}}(\mathcal{A}(\mathcal{S}))\ge 1/8:\mathcal{S}\sim {\mathcal{D}}^n)\ge 1/7$成立。

证明：
（1） 令$\mathcal{C}$表示域$\mathcal{X}$中大小为$2n$的一个子集。主要的证明思路是只利用数据集$\mathcal{C}$一半的数据样本点并不能给出剩下一半数据点的信息。 假定$\mathcal{H}$表示数据集$\mathcal{C}$到标签集合$0,1$所有可能的函数集合，且$T$表示的是函数集合的基数，其中$\mathcal{H}=f_1,\cdots ,f_T$，$T=2^{2n}$。对于$\mathcal{H}$中每一个函数假设，令${\mathcal{D}}_i$是$\mathcal{C}\times 0,1$中的分布$${\mathcal{D}}_i((x,y))=\begin{array}{ll}1/2m& \mathrm{i}\mathrm{f}y=f_i(x)\\ 0& \mathrm{o}\mathrm{t}\mathrm{h}\mathrm{e}\mathrm{r}\mathrm{w}\mathrm{i}\mathrm{s}\mathrm{e}\end{array}$$进而可知存在函数$f_i$，在数据分布${\mathcal{D}}_i$上则有$L_{{\mathcal{D}}_i}(f_i)=0$。
（2）主要证明的关键在于即对任意的学习算法$\mathcal{A}$有$$\underset{i\in [T]}{\max }{\mathbb{E}}_{\mathcal{S}\sim {\mathcal{D}}_i^n}[L_{{\mathcal{D}}_i}(\mathcal{A}(\mathcal{S}))]\ge 1/4$$首先从$\mathcal{C}\times 0,1$中采样出$n$个样本构造一个训练集，其中采样出的样本可以重复，进而可知有$k=(2n{)}^n$中可能的样本序列。令这些样本序列分别表示为${\mathcal{S}}_1,{\mathcal{S}}_2,\cdots ,{\mathcal{S}}_k$。${\mathcal{S}}_j^i=((x_1,f_i(x_1)),\cdots ,(x_n,f_i(x_n)))$表示的是函数$f_j$在样本序列$S_j$中的数据集合，则有$${\mathbb{E}}_{\mathcal{S}\sim {\mathcal{D}}_i^n}[L_{{\mathcal{D}}_i}(\mathcal{A}(\mathcal{S}))]=\frac{1}{k}\sum _{j=1}^k{L}_{以上是关于机器学习著名定理之—No\; Free\; Lunch定理详解的主要内容，如果未能解决你的问题，请参考以下文章}$$

机器学习｜数学基础Mathematics for Machine Learning系列之图论（10）：匹配基本定理

机器学习｜数学基础Mathematics for Machine Learning系列之图论（10）：匹配基本定理

机器学习｜数学基础Mathematics for Machine Learning系列之矩阵理论：正交补与投影定理

机器学习｜数学基础Mathematics for Machine Learning系列之矩阵理论（12）：相似形理论

机器学习｜数学基础Mathematics for Machine Learning系列之矩阵理论（13）：Hamliton-Cayley定理最小多项式

机器学习｜数学基础Mathematics for Machine Learning系列之图论：连通度