基础知识八集成学习

Posted AYE89

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了基础知识八集成学习相关的知识,希望对你有一定的参考价值。

难点:如何产生“好而不同”的个体学习器;“好而不同”:“准确性”和“多样性”

一、个体与集成

构建并结合多个学习器来完成学习任务

集成:结果通过投票法voting产生,“少数服从多数”

获得整体性能提升要求个体学习器:好而不同

1)个体学习器有一定的“准确性”

2)学习器间具有差异

 

集成学习的错误率:

假设基学习器的误差相互独立,随着集成中个体分类器数目T的增大,集成的错误率将指数级下降,最终趋向于零

 事实上,个体学习器是为了解决同一个问题训练出来的,它们不可能相互独立

 

集成学习方法大致分两大类:

个体学习器之间存在强依赖关系:代表是Boosting

个体之间不存在强依赖关系:代表是Bagging和“随机森林”

 

二、Boosting

根据前一个基学习器的表现对训练样本分布进行调整,用调整后的样本分布来训练下一个基学习器;重复进行直至达到事先指定的值T

最著名的算法是AdaBoost:推导基于“加性模型”,即基学习器的线性组合

从偏差-方差分解的角度看,Boosting主要关注降低偏差,因此能基于泛化能力相当弱的学习器构建出很强的集成。

 

三、Bagging

 bootstrap sampling产生T个训练样本的采样集,基于每个采样集训练出一个基学习器,集成采用平均/投票

 

随机森林是Bagging的一个扩展变体

在以决策树为基学习器构建Bagging集成的基础上,进一步在决策树的训练过程中引入随机属性选择

 

三、结合策略

数值型输出:

1. 简单平均法

2. 加权平均法

标记分类:

1.绝对多数投票法

2.相对多数投票法

3. 加权投票法

学习法

 

四、多样性

1. 多样性度量

通常,考虑个体分类器的两两相似/不相似性:

不合度量

相关系数

Q-统计量

K-统计量

2. 多样性增强

数据样本扰动

输入属性扰动

输出表示扰动

算法参数扰动

 

以上是关于基础知识八集成学习的主要内容,如果未能解决你的问题,请参考以下文章

python学习八十四天:爬虫基础

汇编语言基础学习以及各种指令记忆(实验八)

关于linux学习的热身知识八

Java基础学习笔记八 Java基础语法之接口和多态

八.RocketMQ极简入门-在SpringBoot中使用RocketMQ

linux学习之八---Linux进程基础知识