目标函数和 xgboost 模型有啥区别？

Posted 2023-03-12

【中文标题】目标函数和 xgboost 模型有啥区别？

【英文标题】：What's the different between Objective functions and xgboost models?目标函数和 xgboost 模型有什么区别？

【发布时间】：2018-12-22 13:01:04

【问题描述】：

我知道GBtree 使用决策树进行分类和回归， 但是我们如何使用gblinear 来解决分类问题呢？它不是给我们一个连续的预测吗？

我想我对 xgboost 中的参数 “boosters” 和“目标函数”感到困惑。

与 GBLinear 相比，GBtree 能给我们带来什么？

“Objective Function”与“Booster”有什么区别 在 xgboost 中？

【参考方案1】：

GBLinear 提供“线性”建模来解决您的问题。线性 回归是一个线性模型，可以预测一个连续值 提及。但是还有其他线性模型，例如 Logistic 预测 0 到 1 之间的值（或 分类问题）。因此，如果您使用 GBLinear 的助推器 类型，你应该使用binary:logistic目标函数。 GBtree 为您的问题提供决策树建模。

Objective function 是您尝试最小化的函数（它不会 与模型直接相关）。大多数情况下，目标函数定义 某种错误。例如，在Linear Regression 中，您有一个 如下所示的启发式：Hw = w0 + w1*x1 + w2*x2 + ... + wn*xn（这种启发式实际上是一种建模你的 问题）。其中“Objective”也称为“Cost”函数， 与此类似：COST = (Hw - y_pred)^2。你的目标是 找到w0, ..., wn，这将最大限度地减少该错误，因此您将得到 一个“适合”“解决”您的问题的“模型”。

GBtree / GBlinear 是模型。一种为您的问题建模的方法。该模型 如果不“调整”他的“权重”，那将一文不值。带着“目标” 函数，你“调整”你的“权重”。