《统计学习方法》--提升方法

Posted 2022-11-09 兜里有糖心里不慌

《统计学习方法》第八章–提升方法

提升方法的核心思想是在给定基础模型的基础上，通过不断调整样本的权重分布训练一系列的模型，尽最大可能的减少训练误差,最后将多个模型按照一定的权重系数进行组合得到最终的模型。通过采用多模型结合的方式，可以提升模型的稳定性，使模型更准确。

理论基础

PAC理论(Probably Approximately Correct)

PAC理论（概率近似正确理论）主要是论证了在概率学习框架下，一个概念是强可学习的充分必要条件是这个概念是弱可学习的。即对于一个问题，如果能够发现解决该问题的"弱学习算法",即该问题是弱可学习的，那么该问题也必定有"强学习算法"存在,即该问题也必定是强可学习的。

弱可学习：弱可学习是指，对于一个概念，如果存在一个多项式的学习算法能够学习他，学习的正确率仅比随机猜测略好，那么这个概念就是弱可学习的。

强可学习：强可学习是指，对于一个概念，如果存在一个多项式的学习算法能够学习他，并且正确率很高，那么这个概念就是强可学习的。

PAC理论实际上论证了提升方法的可靠性，即可以从一个弱分类器通过一定的算法将其变成一个强分类器，这也是集成类模型的通用指导思想。各类型集成模型的区别只是在于如何从基础的弱分类模型不断向强分类模型改进。

关于PAC理论的更多资料可以参看：

【ML学习笔记】8：PAC可能近似正确
30分钟了解PAC学习理论——计算学习理论第一讲

AdaBoost算法

AdaBoost算法通过不断更新样本的权重分布，使得在上一个基础模型中误分类大的数据在下轮的模型训练中占据更大权重，由此得到一系列的基础模型，再依据基础模型的对应权重，将全部基础模型组合起来得到最终的决策模型的一种算法。

输入：训练数据集$T=(x_1,y_1),(x_2,y_2)...(x_N,y_N),其中x_i\in \mathcal{X}\subseteq R^n,y\in \mathcal{Y}=-1,1;若学习算法$

输出：最终分类器$G(x)$

(1) 初始化训练数据的权值分布$$D_1=({\omega }_{11},...,{\omega }_{1i},...,{\omega }_{1N}),{\omega }_{1i}=\frac{1}{N}，i=1,2,3,...,N$$即在初始化数据集时先假定是均匀分布，每个样本的权重相同。

(2) 对于$m=1，2，...M$

• (a)使用具有权值分布$D_m$的训练数据集训练基础模型$$G_m(x):\mathcal{X}\to -1,+1$$
• (b)计算$G_m(x)$在训练数据集上的误分类率，$$e_m=\sum _{i=1}^{N}P(G_m(x_i)\ne y_i)=\sum _{i=1}^N{\omega }_{mi}I(G_m(x_i)\ne y_i)$$这个误分类率本质是对全部误分类样本权重的求和。
• ©计算当前基础模型$G_m(x)$的权重系数$${\alpha }_m=\frac{1}{2}\log \frac{1-e_m}{e_m}$$
• (d)更新训练数据集的权值分布$$D_{m+1}=({\omega }_{(m+1)1,(m+1)2,...,(m+1)N})$$, ω m + 1 , i = ω m i Z m exp ⁡ ( − α m y i G m ( x i ) ) , Z m = ∑ i = 1 N ω m i exp ⁡ ( α m y i G m ( x i ) ) , 其 中 i = 1 , 2 , . . . , N \\omega_m+1,i=\\frac\\omega_miZ_m\\exp(-\\alpha_my_iG_m(x_i)),Z_m=\\sum_i=1^N\\omega_mi\\exp(\\alpha_my_iG_m(x_i)) ,其中i=1,2,...,N ωm+1,i​=Zm​ωmi​​exp(−αm​yi​Gm​(xi​)),Zm​=i=1∑N​ωmi​exp(αm​yi​Gm​(x常用GWAS统计方法和模型简介

  机器学习之统计分析

  计量经济学关于根据Eviews软件中的t、F统计量计算方法、公式、步骤

  常见统计估计概念和区别

  统计思维-程序员数学之概率统计-云图

  组间差异检验，终于有人讲清楚了!