SVM 与 LR的异同

Posted crackpotisback

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了SVM 与 LR的异同相关的知识,希望对你有一定的参考价值。

LR & SVM 的区别

相同点

  1. LR和SVM都是分类算法。
  2. 如果不考虑核函数,LR和SVM都是线性分类算法,也就是说他们的分类决策面都是线性的。
  3. LR和SVM都是监督学习算法。
  4. LR和SVM都是判别模型。

不同点

  1. 损失函数不一样
  2. 支持向量机只考虑局部的边界线附近的点,而逻辑回归考虑全局(远离的点对边界线的确定也起作用)。
  3. 在解决非线性问题时,支持向量机采用核函数的机制,而LR通常不采用核函数的方法在计算决策面时,SVM算法里只有少数几个代表支持向量的样本参与了计算,也就是只有少数几个样本需要参与核计算(即kernal machine解的系数是稀疏的)。然而,LR算法里,每个样本点都必须参与决策面的计算过程,也就是说,假设我们在LR里也运用核函数的原理,那么每个样本点都必须参与核计算,这带来的计算复杂度是相当高的。所以,在具体应用时,LR很少运用核函数机制。
  4. 线性SVM依赖数据表达的距离测度,所以需要对数据先做normalization,LR不受其影响。
  5. SVM的损失函数就自带正则

以上是关于SVM 与 LR的异同的主要内容,如果未能解决你的问题,请参考以下文章

面试题1-----SVM和LR的异同

LR和SVM的联系与区别

逻辑斯蒂回归(logisic regression)和SVM的异同

机器学习算法面试题

与基于51系列与基于ARM处理器的控制系统开发有何异同。

PCR技术与DNA半保留复制的异同?