朴素贝叶斯和逻辑回归的假设

Posted 2023-03-13

【中文标题】朴素贝叶斯和逻辑回归的假设

【英文标题】：Assumptions of Naive Bayes and Logistic Regression

【发布时间】：2020-03-26 19:07:39

【问题描述】：

我试图了解朴素贝叶斯和逻辑回归所需假设的差异。

据我所知，朴素贝叶斯和逻辑回归都应该具有相互独立的特征，即预测变量不应该有任何多重共线性。

并且只有在逻辑回归中才应该遵循自变量和对数赔率的线性。

如果我错了，请纠正我，Naive 和逻辑回归之间是否存在任何其他假设/差异

【参考方案1】：

你说得对。他们两个也有相似的表现。 不同之处在于 NB 假设正态分布，而逻辑回归则不假设。至于速度，NB要快得多。

【参考方案2】：

逻辑回归，根据this source：

1) 要求观察彼此独立。换言之，观察结果不应来自重复测量或匹配数据。

2) 要求因变量是二元的，有序逻辑回归要求因变量是有序的。

3) 自变量之间几乎不需要或不需要多重共线性。这意味着自变量之间的相关性不应该太高。

4) 假设自变量和对数几率呈线性关系。

5) 通常需要较大的样本量。一般准则是，对于模型中的每个自变量，您至少需要 10 个结果频率最低的案例。

【参考方案3】：

tl;博士：

朴素贝叶斯需要变量的条件独立。回归族需要特征不高度相关才能具有可解释/良好拟合的模型。

朴素贝叶斯要求特征满足“条件独立”要求，这意味着：

这与“回归族”的要求有很大不同。他们需要的是变量不是“相关的”。即使特征是相关的，回归模型也可能只会变得过拟合或变得更难解释。所以如果你使用适当的正则化，你仍然会得到一个很好的预测。