LR和SVM的联系与区别

Posted 2023-05-03

参考技术A LR与SVM都是机器学习中经常会用到的算法。现在想深入了解每种模型直接的异同，提升自身水平。找到一个博客解释的比较好： 博客：LR与SVM的异同 。下面的内容也是跟着这篇博客进行学习的。

按照label的类型进行判别，如果label是离散的，如0或1，那么就应该是分类算法。如果label是连续的，就应该是回归算法。当然SVM也可以用于回归。

LR与SVM都是监督学习。

简单来讲，就是LR/SVM都是会生成一个判别函数（不关系数据分布，只关心数据间的差别）去分类，而生成模型会计算联合概率（通过联合概率去找到数据的分布），然后根据数据分布去分类。
KNN/LR/SVM是判别模型；
朴素贝叶斯和隐马尔可夫模型是生成模型。

基础版本的LR和SVM都是线性模型，核函数另算。

LR：是基于概率理论和极大似然估计
SVM：是基于几何间隔最大化原理

线性SVM是基于几何间隔，所以需要normalization。LR不需要。

SVM的目标函数中有个L2正则化项：1/2||w||^2
LR需要在损失函数外，额外添加正则项。

LR和SVM的异同
LR和SVM的原理：机器学习-周志华，统计学习方法-李航

LL,LR,SLR,LR,LALR的 联系与区别

---

 

一：LR(0),SLR(1),规范LR(1),LALR(1)的关系

---

    首先LL(1)分析法是自上而下的分析法。LR(0),LR(1),SLR(1),LALR(1)是自下而上的分析法。
            自上而下:从开始符号出发，根据产生式规则推导给定的句子。用的是推导
            自下而上:从给定的句子规约到文法的开始符号。用的是归约

     1： SLR(1)与LR(0)的关系：

           SLR(1)与LR(0)：简单的LR语法分析技术（即SLR（1）分析技术）的中心思想是根据文法构造出LR（0）自动机。

 

            LR(0):见到First集就移进，见到终态就归约

 

         SLR(1)见到First集就移进，见到终态先看Follow集，与Follow集对应的项目归约，其它报错。

 

   2： LR(1)与LR(0)的关系：

      规范LR（1）语法分析技术的中心思想是根据文法构造出LR（1）自动机 ，而规范LR（1）自动机构造方法和LR（0）自动机的构造方法相同，只是多增加了向前搜索符号。

   3：规范LR(1)与LALR(1)的关系：

      LALR(1)是对LR(1)项集族I中具有同心项的项集进行合并得到I\'，然后根据I’进行分析的方法。

 

---

二：LL(1),SLR(1),规范LR(1),LALR(1)的判别

 

---

 

      1：LL(1)判断规则

        判定规则： 方法一：龙书上有很明确的规则，龙书上这样说， 对形如 A->a|β 这样的文法，满 足

        ①FIRST(α)∩ FIRST (β ) =Φ
        ②若ε∈ FIRST( α)， 要满足 FIRST(β) ∩FOLLOW(A)=Φ
        这两个条件的才是 LL(1) 文法。
        这里要注意一下条件②， α和 β 是可以互换的，意思就是只要其中有一个 FIRST 集包含ε，那么就要看另一个了。

                   方法二：

                    如果画出了预测分析表，在一个格子中有两条产生式，则存在冲突，就不是LL（1）文法。

     2：SLR(1)判断规则

       方法一：画出文法的LR(0)自动机，如果没有移进--规约冲突，即shift--reduce 冲突，则该文法是SLP(1)文法

   3:LALR(1)和LR(1)的判断规则

       画出文法的LR(1)自动机，如果没有同心项且没有状态冲突，则该文法是LALR(1)文法；如果有同心项且合并同心项有状态冲突，则是LR（1）文法