Vowpal Wabbit 的梯度提升

Posted 2023-03-13

【中文标题】Vowpal Wabbit 的梯度提升

【英文标题】：Gradient boosting on Vowpal Wabbit

【发布时间】：2015-07-12 14:11:02

【问题描述】：

有没有办法使用 Vowpal Wabbit 对回归使用梯度提升？我使用 Vowpal Wabbit 附带的各种有用的技术。我想尝试梯度提升，但我找不到在大众汽车上实现梯度提升的方法。

【参考方案1】：

gradient boosting 的想法是集成模型是从黑盒弱模型构建的。您当然可以使用 VW 作为黑盒，但请注意 VW 不提供决策树，这是黑盒弱模型在 boosting 中最流行的选择。 Boosting 通常会减少偏差（并增加方差），因此您应该确保 VW 模型具有低方差（没有过度拟合）。见bias-variance tradeoff。

在 VW 中有一些与 boosting 和 bagging 相关的减少：

--autolink N 添加了多项式 N 的链接函数，可以认为是一种简单的 boosting 方式。 --log_multi K 是用于 K 类分类的在线提升算法。见the paper。您甚至可以将其用于二元分类 (K=2)，但不能用于回归。 --bootstrap M M-way bootstrap 通过在线重要性重采样。使用--bs_type=vote 进行分类，使用--bs_type=mean 进行回归。请注意，这是bagging，而不是提升。 --boosting N（添加于 2015-06-17）在线提升 N 个弱学习者，请参阅 a theoretic paper

【讨论】：

感谢您的帮助，不胜感激！

昨天发表了一篇关于“在线梯度提升”arxiv.org/abs/1506.04820 的非常相关的论文。那里提到了大众。