逻辑回归分类器的引导聚合（装袋）

Posted 2023-03-12

【中文标题】逻辑回归分类器的引导聚合（装袋）

【英文标题】：Bootstrap aggregation (bagging) of logistic regression classifiers

【发布时间】：2014-03-12 16:59:20

【问题描述】：

因此，我采用 N 个引导样本并在这些样本上训练 N 个逻辑回归分类器。每个分类器都会给我一些属于二元类的概率，然后我对这 N 个概率进行平均以获得最终预测。

我的问题是，如果我取 N 组回归系数并对它们进行平均，并在逻辑回归分类器中使用平均的一组系数，并将输出概率作为最终预测，这与取平均值相同吗？上一段中描述的结果 N 概率？

【问题讨论】：

请停止在此处和经过交叉验证的交叉发布。交叉验证是此类问题的最佳选择。

【参考方案1】：

答案是否定的，因为逻辑函数是非线性的：1/(1+exp(-a)) + 1/(1+exp(-b)) 不等于 1/(1+exp(-(a+b)))。

但逻辑函数的逆函数（也称为对数赔率）是线性的 (g(x) in this wiki page)。如果您正在计算对数赔率，您可以在 bagging 过程中平均相应的系数（页面中的beta0 和 beta1）。