集成学习

Posted 2021-03-01 yukizzc

一、Boosting

1、Given the training data

D = {$(x^{1},y^{1}),(x^{2},y^{2}),(x^{3},y^{3}),......(x^{m},y^{m})$}

$x^{i}in R^n$   　　　　　　$yin (+1,-1)$

for each data  $x^{i}$, there is an associated weight  $w^{i}in R$

有m个样本，每个数据x有n维特征，并且每个数据有一个权重参数w

 

2、Initialization

$w^{i} = frac{1}{m}$ 

 

3、训练

for k=1 to K

　　$e_{k} = sumlimits_{i}^{m}w^{i}F(G_{k}(x^{i}) eq y^{i})$

一共有K个分类器，F(x)函数如果x=True则返回1，x=false则返回0。每一个分类器训练完可以得到一个$e_{k}$

$alpha_{k} = frac{1}{2}ln(frac{1-e_{k}}{e_{k}})$

$alpha_{k} $ 表示分类器的权重