第3章 线性模型

Posted jiaojun520

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了第3章 线性模型相关的知识,希望对你有一定的参考价值。

3.1 基本形式

  给定由$d$个属性描述的示例$x=(x_{1};x_{2};...;x_{d})$,其中$x_{i}$是$x$在第$i$个属性上的取值,线性模型学习一个属性的线性组合来预测函数,即$$f(x)=w_{1}x_{1}+w_{2}x_{2}+...+w_{d}x_{d}+b(3.1)$$一般写成向量形式$$f(x)=w^{T}x+b(3.2)$$其中$w=(w_{1};w_{2};...;w_{d})$。$w$和$b$学得之后,模型(函数)就确定了。

  下面介绍几种经典线性模型,包括回归、二分类和多分类。

3.2 线性回归

  给定数据集$D=\\left \\{ (x_{1},y_{1}),(x_{2},y_{2}),...,(x_{m},y_{m}) \\right \\}$,其中$x_{i}=(x_{i1};x_{i2};...;x_{id})$,$y_{i}\\in \\mathbb{R}$。“线性回归”试图学习一个线性模型能够尽可能拟合给定的数据。

  先考虑输入样本只有一个属性的情况。可以表示为$D=\\left \\{ (x_{i},y_{i}) \\right \\}_{i=1}^{m}$,其中$x_{i}\\in \\mathbb{R}$。对于离散属性,若属性之间存在“序关系”,比如“大中小”三个属性显然不能随意分配值,应按“大中小”或“小中大”顺序分配赋值,可以转化为连续值,例如二值属性“高”和“矮”可转化为{1.0,0.0};若属性之间不存在“序关系”,假如有$k$个属性值,可以转化为$k$维向量,比如“西瓜”、“南瓜”和“冬瓜”,可以转化为(0,0,1)、(0,1,0)和(1,0,0)(这是one-hot表示)。

  线性回归学得$$f(x_{i})=wx_{i}+b,使得f(x_{i})\\approx y_{i}(3.3)$$如何求得$w和b$,关键在于衡量$f(x)$和$y$之间的差别,我们可以使用均方误差衡量,计算所有样本的真实值和预测值之间的差距,再将所有差距求和,再求极小化值即可得。即$$(w^{*},b^{*})=\\underset{(w,b)}{argmin}\\sum_{i=1}^{m}(f(x_{i})-y_{i})^2$$$$=\\underset{(w,b)}{argmin}\\sum_{i=1}^{m}(y_{i}-wx_{i}-b)^2(3.4)$$均方误差对应了欧氏距离,基于均方误差最小化来进行求解方程的方法称为“最小二乘法”,线性回归就是通过“最小二乘法”找到一条直线,使得所有点到这条直线的欧氏距离之和最短。

  求解$w和b$使得$E_{(w,b)}=\\sum_{i=1}^{m}(y_{i}-wx_{i}-b)^2$最小化的过程称为线性回归模型最小二乘的“参数估计”,也就是估计参数。直接对$w$和$b$求导可得$$\\frac{\\partial E_{(w,b)}}{\\partial w}=2(w\\sum_{i=1}^{m}x_{i}^{2}-\\sum_{i=1}^{m}(y_{i}-b)x_{i})(3.5)$$$$\\frac{\\partial E_{(w,b)}}{\\partial b}=2(mb-\\sum_{i=1}^{m}(y_{i}-wx_{i}))(3.6)$$令上述两式为0得$w$和$b$最优闭式解$$w=\\frac{\\sum_{i=1}^{m}y_{i}(x_{i}-\\overline{x})}{\\sum_{i=1}^{m}x_{i}^{2}-\\frac{1}{m}(\\sum_{i=1}^{m}x_{i})^2}(3.7)$$$$b=\\frac{1}{m}\\sum_{i=1}^{m}(y_{i}-wx_{i})(3.8)$$

  更一般的情形是数据集为$D$,样本由$d$个属性描述,此时可学得“多元线性回归”。类似的可利用最小二乘法对$w$和$b$进行参数估计。为方便,把$w$和$b$吸入向量形式$\\hat{w}=(w;b)$,相应的把数据集$D$表示为一个$m\\times (d+1)$大小的矩阵$X$,其中每行对应一个示例,该行前$d$个元素对应示例$d$个属性值,最后一个恒为1(因为1和$b$相乘还是$b$),即

技术图片

把标记也写成向量形式$y=(y_{1};y_{2};...;y_{m})$,则有$$\\hat{w}^{*}=\\underset{\\hat{w}}{argmin}(y-X\\hat{w})^{T}(y-X\\hat{w})(3.9)$$令$E_{\\hat{w}}=(y-X\\hat{w})^{T}(y-X\\hat{w})$,对$\\hat{w}$求导可得$$\\frac{\\partial E_{\\hat{w}}}{\\partial \\hat{w}}=2X^{T}(X\\hat{w}-y)(3.10)$$令上式为0可得$\\hat{w}$最优解的闭式解,因为涉及矩阵逆运算,需要讨论。当$X^{T}X$为满秩矩阵或正定矩阵时,可轻松得到$$\\hat{w}^{*}=(X^{T}X)^{-1}X^{T}y(3.11)$$令$\\hat{x}_{i}=(x_{i};1)$,最终学得的多元线性回归模型为$$f(\\hat{x}_{i})=\\hat{x}_{i}^{T}(X^{T}X)^{-1}X^{T}y(3.12)$$然而,现实中$X^{T}X$往往不是满秩矩阵,例如样本特征太多,维数超过了样本数量,导致$X$列数多于行数,$X^{T}X$显然不满秩,此时可以解出多个解,选择哪个解输出是由算法的偏好决定的,常见的做法是引入正则化项(解决过拟合)。

  线性回归模型有许多变种,我们将最简单的形式写为$$y=w^{T}x+b(3.13)$$例如标记$y$的对数作为线性模型可得$$lny=w^{T}x+b(3.14)$$这就是“对数线性回归”,实际上它试图让$e^{w^{T}x+b}$逼近$y$。式(3.14)形式上还是线性回归,但实质是求输入到输出的非线性映射。

  更一般地,考虑单调可微函数$g(\\cdot )$,令$$y=g^{-1}(w^{T}x+b)(3.15)$$这样模型称为“广义线性模型”,其中$g(\\cdot )$称为“联系函数”。

3.3 对数几率回归

  上面都是关于回归任务的形式,但若是做分类任务呢?可以通过(3.15)广义线性模型,只需找到一个可微函数将分类任务真实标记$y$与线性回归模型预测联系起来即可。考虑二分类,输出为$y\\in \\left \\{ 0,1 \\right \\}$,线性回归产生预测值是$\\mathbb{R}$,可以将此时的实数转换为0/1值。最简单的是“单位阶跃函数”$$y=\\begin{cases}0, & \\text{  } z<0; \\\\ 0.5, & \\text{  } z=0; \\\\ 1, & \\text{  } z>0. \\end{cases}(3.16)$$形象化可如下图所示

技术图片

上述单位阶跃函数不连续,不能用作$g^{-}(\\cdot )$,希望能找到一个可微的代替函数,“对数几率函数(简称对率函数)”正是这样一个替代函数$$y=\\frac{1}{1+e^{-z}}(3.17)$$ 上图可以看出对数几率函数是“Sigmoid函数”,将对数几率函数作为$g^{-}(\\cdot )$可得到$$y=\\frac{1}{1+e^{-(w^{T}x+b)}}(3.18)$$式(3.18)可变化为$$ln\\frac{y}{1-y}=w^{T}x+b(3.19)$$将$y$视为样本$x$作为正例的可能性,$1-y$作为反例的可能性,两者的比值$$\\frac{y}{1-y}(3.20)$$称为“几率”,反映了$x$作为正例的相对可能性。对几率取对数得到“对数几率”$$ln\\frac{y}{1-y}(3.21)$$以上模型称为“对数几率回归”,虽说名称是回归,但其是分类任务。其直接对分类进行建模,无需假设数据分布;其不仅预测出类别,而且得到类别的近似概率;对数函数是任意阶可导函数,有很好的数学性质。

  那么如何确定(3.18)中的$w$和$b$呢?将(3.18)中$y$视为类后验概率估计$p(y=1|x)$,(3.19)可写为$$ln\\frac{p(y=1|x)}{p(y=0|x)}=w^{T}x+b(3.22)$$显然有$$p(y=1|x)=\\frac{e^{w^{T}x+b}}{1+e^{w^{T}x+b}}(3.23)$$$$p(y=0|x)=\\frac{1}{1+e^{w^{T}x+b}}(3.24)$$于是,可通过“极大似然法”估计$w$和$b$。给定数据集$\\left \\{ (x_{i},y_{i}) \\right \\}_{i=1}^{m}$,对率回归模型最大化“对数似然”$$l(w,b)=\\sum_{i=1}^{m}lnp(y_{i}|x_{i};w,b)(3.25)$$即令每个样本真实标记概率越大越好。令$\\beta =(w;b)$,$\\hat{x}=(x;1)$,则$w^{T}x+b$可简写为$\\beta ^{T}\\hat{x}$。再令$p_{1}(\\hat{x};\\beta )=p(y=1|\\hat{x};\\beta )$,$p_{0}(\\hat{x};\\beta )=p(y=0|\\hat{x};\\beta )=1-p_{1}(\\hat{x};\\beta )$,则(3.25)可重写为$p(y_{i}|x_{i};w,b)=y_{i}p_{1}(\\hat{x_{i}};\\beta )+(1-y_{i})p_{0}(\\hat{x_{i}};\\beta )(3.26)$将(3.26)带入(3.25),并根据(3.23)和(3.24)可知,最大化(3.25)等价于最小化$$l(\\beta )=\\sum_{i=1}^{m}(-y_{i}\\beta_{T}\\hat{x_{i}}+ln(1+e^{\\beta^{T}\\hat{x_{i}}}))(3.27)$$可根据梯度下降法、牛顿法求解得到$$\\beta^{*}=\\underset{\\beta }{argmin}l(\\beta )(3.28)$$以牛顿法为例,第$t+1$轮迭代解的更新公式为$$\\beta^{t+1}=\\beta^{t}-(\\frac{\\partial^{2}l(\\beta )}{\\partial \\beta \\partial \\beta^{T}})^{-1}\\frac{\\partial l(\\beta )}{\\partial \\beta }(3.29)$$关于$\\beta $的一阶二阶导数为$$\\frac{\\partial l(\\beta )}{\\partial \\beta }=\\sum_{i=1}^{m}\\hat{x_{i}}(y_{i}-p_{1}(\\hat{x_{i}};\\beta ))(3.30)$$$$\\frac{\\partial ^{2}l(\\beta )}{\\partial \\beta \\partial \\beta ^{T}}=\\sum_{i=1}^{m}\\hat{x_{i}}\\hat{x_{i}}^{T}p_{1}(\\hat{x_{i}};\\beta )(1-p_{1}(\\hat{x_{i}};\\beta ))(3.31)$$

3.4 线性判别分析

  线性判别分析(LDA)是一种经典的线性学习方法,在二分类最早由Fisher提出,因此也称为“Fisher线性判别”。LDA思想:给定训练数据集,将数据全部投影到一条直线上,要求使得同类样例投影点尽可能接近、异类样例投影点尽可能远离;对新样本进行分类时,将其投影到此直线上,根据投影点位置确定样本类别。下面是详细示意图

技术图片

  给定数据集$D=\\left \\{ (x_{i},y_{i}) \\right \\}_{i=1}^{m}$,$y_{i}\\in \\left \\{ 0,1 \\right \\}$,令$X_{i}$、$\\mu_{i}$、$\\Sigma_{i}$分别为$i$类的集合、均值向量、协方差矩阵,其中$i\\in \\left \\{ 0,1 \\right \\}$。将数据投影到直线$w$上,两类样本中心在直线上投影为$w^{T}\\mu_{0}$和$w^{T}\\mu_{1}$;将所有样本点都投影到直线上,两类样本协方差为$w^{T}\\Sigma_{0}w$和$w^{T}\\Sigma_{1}w$。由于直线为一维空间,因此上述四个值都是实数(可通过矩阵向量运算可知为实数)。

  要使得同类样例投影点尽可能接近,可以让同类样例投影点协方差尽可能小(彼此之间更加紧密,太过于松散方法会变大),即$w^{T}\\Sigma_{0}w+w^{T}\\Sigma_{1}w$尽可能小;而要使异类样例投影点尽可能远,可以让两个类的中心距离尽量大,即$\\left \\| w^{T}\\mu_{0}-w^{T}\\mu_{1} \\right \\|_{2}^{2}$尽量大。此时同时考虑两者,一个要尽量小,一个要尽量大,即可得最大化目标$$J=\\frac{\\left \\|w^{T}\\mu _{0}-w^{T}\\mu _{1}  \\right \\|_{2}^{2}}{w^{T}\\Sigma _{0}w+w^{T}\\Sigma _{1}w}$$$$=\\frac{w^{T}(\\mu _{0}-\\mu _{1})(\\mu _{0}-\\mu _{1})^{T}w}{w^{T}(\\Sigma _{0}+\\Sigma _{1})w}(3.32)$$定义“类内散度矩阵”$$S_{w}=\\Sigma _{0}+\\Sigma _{1}=\\sum_{x\\in X_{0}}(x-\\mu_{0})(x-\\mu _{0})^{T}+\\sum_{x\\in X_{1}}(x-\\mu_{1})(x-\\mu _{1})^{T}(3.33)$$以及“类间散度矩阵”$$S_{b}=(\\mu _{0}-\\mu _{1})(\\mu _{0}-\\mu _{1})^{T}(3.34)$$式(3.32)可写为$$J=\\frac{w^{T}S_{b}w}{w^{T}S_{w}w}(3.35)$$这就是LDA欲最大化的目标,即$S_{b}$与$S_{w}$的“广义瑞利商”。

  如何确定$w$呢?式(3.35)分子和分母都是$w$的二次项,因此(3.35)解与$w$长度无关(上下长度都一样,相除可以抵消)。因此可令$w^{T}S_{w}w=1$,式(3.35)等价于$$\\underset{w}{min}-w^{T}S_{b}w(3.36)$$$$s.t. w^{T}S_{w}w=1$$由拉格朗日乘子法上式等价于$$S_{b}w=\\lambda S_{w}w(3.37)$$注意到$S_{b}w$的方向恒为$\\mu _{0}-\\mu _{1}$,令$$S_{b}w=\\lambda (\\mu _{0}-\\mu _{1})(3.38)$$带入(3.37)可得$$w=S_{w}^{-1}(\\mu _{0}-\\mu _{1})(3.39)$$由于求解$S_{w}^{-1}$可能不能求逆等问题,在实践中常对$S_{w}$进行奇异值分解,即$S_{w}=U\\Sigma V^{T}$,这里$\\Sigma$是实对角矩阵,对角线上元素是$S_{w}$的奇异值,然后由$S_{w}^{-1}=V\\Sigma ^{-1}U^{T}$得到$S_{w}^{-1}$。

  可以将LDA推广为多分类任务。假定存在$N$个类,且第$i$类示例数为$m_{i}$,定义“全局散度矩阵”$$S_{t}=S_{b}+S_{w}=\\sum_{i=1}^{m}(x_{i}-\\mu )(x_{i}-\\mu )^{T}(3.40)$$其中$\\mu$是所有示例的均值向量。将类内散度矩阵$S_{w}$重定义为每个类别的散度矩阵之和,即$$S_{w}=\\sum_{i=1}^{N}S_{w_{i}}(3.41)$$其中$$S_{w_{i}}=\\sum_{x\\in X_{i}}(x-\\mu _{i})(x-\\mu _{i})^{T}(3.42)$$由(3.40)~(3.42)可得$$S_{b}=S_{t}-S_{w}=\\sum_{i=1}^{N}m_{i}(\\mu _{i}-\\mu )(\\mu _{i}-\\mu )^{T}(3.43)$$显然,多分类LDA有多种方法实现:使用$S_{b},S_{w},S_{t}$三者中任何两种即可。常见的一种是采用优化目标$$\\underset{W}{max}\\frac{tr(W^{T}S_{b}W)}{tr(W^{T}S_{w}W)}(3.44)$$其中$W\\in \\mathbb{R}^{d\\times (N-1)}$,$tr(\\cdot )$表示矩阵的迹。(3.44)可通过广义特征值问题求解$$S_{b}W=\\lambda S_{w}W(3.45)$$$W$的闭式解是$S_{w}^{-1}S_{b}$的$d‘$个最大非零广义特征值所对应的特征向量组成的矩阵,并且$d‘\\leqslant N-1$。

  若将$W$视为一个投影矩阵,多分类LDA将样本投影到$d‘$维空间,$d‘$常远小于$d$。于是可通过此投影减小样本点维数,因此LDA也被视为监督学习的降维技术。

3.5 多分类学习

  一般情况下都是可以将二分类推广到多分类,利用二分类解决多分类问题。考虑$N$个类别$C_{1},C_{2},...,C_{N}$,多分类基本思路是“拆解”,即将多分类任务拆解为多个二分类任务。先进行拆解,然后每个小的二分类训练一个分类器;测试时,对这些分类器结果进行集成获得最终多分类结果。关键在于如何拆解,以及如何集成多个分类器。

  经典拆分有三种:“一对一(OvO)”、“一对其余(OvR)”和多对多(MvM)。给定数据集$D=\\left \\{ (x_{1},y_{1}),(x_{2},y_{2}),...,(x_{m},y_{m}) \\right \\}$,$y_{i}\\in \\left \\{ C_{1},C_{2},...,C_{N} \\right \\}$。OvO将这$N$个类别两两配对,产生$N(N-1)/2$个二分类任务。测试阶段,新样本同时提交给所有$N(N-1)/2$个二分类器,最终通过投票产生结果:即把预测的最多的类别作为最终分类结果,如下图所示:总共4(4-1)/2=6个分类器,有三个分类器测试为$C_{3}$,所以最终结果为$C_{3}$。

技术图片

  OvR每次将一个类作为正例、其余类作为反例训练出$N$个分类器。测试时若仅有一个分类器预测为正类,则对应的类别标记最为最终分类结果。如上图所示,只有分类器$f_{3}$将测试样例预测为“+”,此时类别为$C_{3}$。若有多个分类器预测为“+”,则考虑分类器置信度,置信度最大的类别标记作为分类结果。

  MvM每次将若干个类作为正类,若干个其他类作为反类,显然OvO个OvR是其特例。MvM的正、反类构造必须有特殊的设计,不能随意选取。这里介绍一种常用MvM技术:“纠错输出码(ECOC)”。ECOC分为编码和解码两个过程,编码是对$N$个类别作$M$次划分,每次划分将一部分划分为正类、一部分划分为负类,形成一个二分类训练集;这样一共产生$M$个训练集,训练出$M$个分类器;解码是$M$个分类器分别对测试样本进行预测,这些预测标记组成一个编码。将这个预测编码与每个类别各自的编码进行比较,返回其中距离最小的类别作为最终预测结果。

  编码矩阵可以表示上面的情,分为二元码和三元码,前者将每个类别指定为正类(+1)或负类(-1),后者还可以指定停用类(0)。下图展示了相应的编码,在测试阶段,各分类器预测结果联合起来就形成了测试示例的编码,该编码与各类所对应的编码求距离,将距离最小编码所对应的类别作为预测结果。

技术图片

  一般来说,对同一个学习任务,ECOC编码越长,纠错能力越强,因为中间如果有个别分类器预测错误,但是总体上不影响距离的计算,还是得到最小距离,那么ECOC就能很大程度上进行纠错。

3.6 类别不平衡问题

   前面介绍的分类方法都有一个共同假设,即不同类别的训练集数目差不多。如果不同类别的训练集数目相差很大,则会对学习过程造成困扰(毕竟1000个样本中只有1个正类,不用学习,随机猜测准确率都有99.9%)。类别不平衡是指分类任务中不同类训练样例数目差别很大的情况。

  当我们使用线性方程$y=w^{T}x+b$对新样本$x$进行分类时,事实上使用预测出的$y$和一个阈值进行比较,例如$y>0.5$时判定为正类。$y$表达了正例的可能性,几率$\\frac{y}{1-y}$反映了正例可能性与反例可能性之比,阈值设置为0.5恰表示为正反例可能相同,分类决策规则为$$\\frac{y}{1-y}>1 则预测为正例(3.46)$$当训练集中正反例数目不同时,令$m^{+}$表示正例数目,$m^{-}$表示反例数目,则观测几率是$\\frac{m^{+}}{m^{-}}$,观测几率就代表了真实几率。因此,只要分类器预测几率高于观测几率就应判定为正例,即$$若\\frac{y}{1-y}>\\frac{m^{+}}{m^{-}} 则预测为正例(3.47)$$但是,我们分类器是基于(3.46)进行决策,因此需对预测值进行调整,使其在基于式(3.46)决策时,实际是在执行(3.47)。只需令$$\\frac{y‘}{1-y‘}=\\frac{y}{1-y}\\times \\frac{m^{-}}{m^{+}}(3.48)$$这就是类别不平衡学习的一个基本策略——“再缩放”。

  (以下均假设正类样例过少)再缩放难以实现,主要因为“训练集是真实样本总体的无偏采样”这个假设往往不成立。现有技术有三种做法:第一类是直接对训练集中反类样例进行“欠采样”,即去除一些反例使得正、反例数目相近;第二类是对训练集里正类样例进行过采样,即增加正例使得正、反例数目相近;第三类是直接基于原始训练集进行学习,但在用训练好的分类器进行预测时,将(3.48)嵌入到其决策过程中,称为“阈值移动”。

以上是关于第3章 线性模型的主要内容,如果未能解决你的问题,请参考以下文章

机器学习 - 第3章 - 线性模型

机器学习 - 第3章 - 线性模型

第3章线性回归

《语音信号处理》《第2章 语音信号的声学基础及产生模型》

R语言实战广义线性模型

运筹学的图书目录