LR和SVM的联系与区别

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了LR和SVM的联系与区别相关的知识,希望对你有一定的参考价值。

参考技术A LR与SVM都是机器学习中经常会用到的算法。现在想深入了解每种模型直接的异同,提升自身水平。找到一个博客解释的比较好: 博客:LR与SVM的异同 。下面的内容也是跟着这篇博客进行学习的。

按照label的类型进行判别,如果label是离散的,如0或1,那么就应该是分类算法。如果label是连续的,就应该是回归算法。当然SVM也可以用于回归。

LR与SVM都是监督学习。

简单来讲,就是LR/SVM都是会生成一个判别函数(不关系数据分布,只关心数据间的差别)去分类,而生成模型会计算联合概率(通过联合概率去找到数据的分布),然后根据数据分布去分类。
KNN/LR/SVM是判别模型;
朴素贝叶斯和隐马尔可夫模型是生成模型。

基础版本的LR和SVM都是线性模型,核函数另算。

LR:是基于概率理论和极大似然估计
SVM:是基于几何间隔最大化原理

线性SVM是基于几何间隔,所以需要normalization。LR不需要。

SVM的目标函数中有个L2正则化项:1/2||w||^2
LR需要在损失函数外,额外添加正则项。

LR和SVM的异同
LR和SVM的原理:机器学习-周志华,统计学习方法-李航

LL,LR,SLR,LR,LALR的 联系与区别


 

一:LR(0),SLR(1),规范LR(1),LALR(1)的关系


    首先LL(1)分析法是自上而下的分析法。LR(0),LR(1),SLR(1),LALR(1)是自下而上的分析法。
            自上而下:从开始符号出发,根据产生式规则推导给定的句子。用的是推导
            自下而上:从给定的句子规约到文法的开始符号。用的是归约

     1: SLR(1)与LR(0)的关系:

           SLR(1)与LR(0):简单的LR语法分析技术(即SLR(1)分析技术)的中心思想是根据文法构造出LR(0)自动机。

 

            LR(0):见到First集就移进,见到终态就归约

 

         SLR(1)见到First集就移进,见到终态先看Follow集,与Follow集对应的项目归约,其它报错。

 

   2: LR(1)与LR(0)的关系:

      规范LR(1)语法分析技术的中心思想是根据文法构造出LR(1)自动机 ,而规范LR(1)自动机构造方法和LR(0)自动机的构造方法相同,只是多增加了向前搜索符号。

   3:规范LR(1)与LALR(1)的关系:

      LALR(1)是对LR(1)项集族I中具有同心项的项集进行合并得到I\',然后根据I’进行分析的方法。

 


二:LL(1),SLR(1),规范LR(1),LALR(1)的判别

 


 

      1:LL(1)判断规则

        判定规则: 方法一:龙书上有很明确的规则,龙书上这样说, 对形如 A->a|β 这样的文法,满 足

        ①FIRST(α)∩ FIRST (β ) =Φ
        ②若ε∈ FIRST( α), 要满足 FIRST(β) ∩FOLLOW(A)=Φ
        这两个条件的才是 LL(1) 文法。
        这里要注意一下条件②, α和 β 是可以互换的,意思就是只要其中有一个 FIRST 集包含ε,那么就要看另一个了

                   方法二:

                    如果画出了预测分析表,在一个格子中有两条产生式,则存在冲突,就不是LL(1)文法。

     2:SLR(1)判断规则

       方法一:画出文法的LR(0)自动机,如果没有移进--规约冲突,即shift--reduce 冲突,则该文法是SLP(1)文法

   3:LALR(1)和LR(1)的判断规则

       画出文法的LR(1)自动机,如果没有同心项且没有状态冲突,则该文法是LALR(1)文法;如果有同心项且合并同心项有状态冲突,则是LR(1)文法

 

以上是关于LR和SVM的联系与区别的主要内容,如果未能解决你的问题,请参考以下文章

LR和SVM的区别

机器学习—逻辑回归与SVM区别

SVM与LR的区别

机器学习/人工智能的笔试面试题目——SVM相关

机器学习之SVM与逻辑回归的联系和区别

SVM 与 LR的异同