课时boost与adaboost

Posted linyk

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了课时boost与adaboost相关的知识,希望对你有一定的参考价值。

提升的概念

技术图片

提升算法

技术图片

提升算法推导

技术图片
技术图片
技术图片

梯度提升决策树

技术图片
技术图片
技术图片

决策树的描述

技术图片

正则项的定义

技术图片

目标函数的计算

技术图片

  • 目标函数继续化简
    技术图片
  • 子树划分
    技术图片
    技术图片

Adaboost

技术图片
技术图片
技术图片
技术图片

误差上限

技术图片

方差与偏差

  • Bagging能够减少训练方差,对于不剪枝的决策树、神经网络等学习器有良好的集成效果
  • Boosting减少偏差,能够基于泛化能力较弱的学习器构造强学习器

boost算法

  • Boosting分类方法,其过程如下所示:

    • 先通过对N个训练数据的学习得到第一个弱分类器h1;

    • 将h1分错的数据和其他的新数据一起构成一个新的有N个训练数据的样本,通过对这个样本的学习得到第二个弱分类器h2;

    • 将h1和h2都分错了的数据加上其他的新数据构成另一个新的有N个训练数据的样本,通过对这个样本的学习得到第三个弱分类器h3;

    • 最终经过提升的强分类器h_final=Majority Vote(h1,h2,h3)。即某个数据被分为哪一类要通过h1,h2,h3的多数表决。

  • 上述Boosting算法,存在两个问题:

    • 如何调整训练集,使得在训练集上训练弱分类器得以进行。

    • 如何将训练得到的各个弱分类器联合起来形成强分类器。

bagging算法

技术图片











以上是关于课时boost与adaboost的主要内容,如果未能解决你的问题,请参考以下文章

一文搞懂:Adaboost及手推算法案例

Laravel5.8入门与实战-安全与优化

名师课堂Java面向对象开发

许岑的幻灯片制作视频教程PPT版

课时40:类与对象:一些相关的BIF

课时37:类与对象:面向对象编程