LightGBM

Posted 2021-03-06 gaowenxingxing

轻量级梯度提升模型

其相对 XGBoost 具有训练速度快、内存占用低的特点zhihu

网红XGBoost的缺点

• 虽然利用预排序和近似算法可以降低寻找最佳分裂点的计算量，但在节点分裂过程中仍需要遍历数据集；
• 预排序过程的空间复杂度过高，不仅需要存储特征值，还需要存储特征对应样本的梯度统计值的索引，相当于消耗了两倍的内存。

LightGBM做的改进

单边梯度抽样算法；
直方图算法；
互斥特征捆绑算法；
基于最大深度的 Leaf-wise 的垂直生长算法；
类别特征最优分割；
特征并行和数据并行；
缓存优化。

详细推理见机器学习与自然语言处理

我先去看看大神们通俗易懂的讲解，回头补充，一上来就看推导，脑壳痛~~