机器学习支持向量机SVM逻辑回归LR决策树DT的直观对比和理论对比，该如何选择（面试回答）？

Posted 2022-08-18 Better Bench

1、支持向量机SVM、逻辑回归LR、决策树DT的直观对比和理论对比，该如何选择？

（1）直观区别：

逻辑回归：逻辑回归的决策边界总是一条直线（或者一个平面，在更高维度上是超平面），逻辑回归方法得到的决策边界总是线性的，并不能得到这里需要的环状边界。因此，逻辑回归适用于处理接近线性可分的分类问题。

决策树：决策树是按照层次结构的规则生成的，决策规则只是用平行于轴线的直线将特征空间切分，如果边界是非线性的，并且能通过不断将特征空间切分为矩形来模拟，那么决策树是比逻辑回归更好的选择。

SVM：SVM是通过把特征空间映射到核空间，使得各个类别线性可分。先提升特征的维度，在高纬度用一个平面来分割数据（线性分类器），这个平面映射回原来的二维特征空间，就能得到一个环状的决策边界。

（2）理论区别

• 模型复杂度：SVM 支持核函数，可处理线性非线性问题，既可以用于分类问题，也可以用于回归问题；LR 模型简单，训练速度快，适合处理线性问题，非线性问题需要转换，适用于二分类问题；决策树也能处理非线性特征，但容易过拟合，需要进行剪枝，适用于多分类问题。

• 损失函数：SVM hinge loss; 带L2正则化的LR对应的是cross entropy loss，不带的是正则化的是log loss; 决策树的损失函数由叶节点上的经验熵决定。

• 数据量：LR和决策树都适合用于数据量大的情况，SVM在样本数据量较大需要较长训练时间，因此更适用于数据量小的情况

• 敏感度：LR对缺失值敏感，不能有缺失值；SVM噪声不能太多，对缺失数据敏感；决策树对缺失数据不敏感