LR多分类与softmax分类
Posted han_liwei
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了LR多分类与softmax分类相关的知识,希望对你有一定的参考价值。
LR多分类与softmax分类
LR是一种传统的二分类模型,也可以做多分类模型,其实现思路如下:
- 将多分类模型拆分成多个二分类模型
- 分别训练二分类模型
- 将多个二分类模型进行集成,选取概率值最大的那个作为最终的分类结果
. logistic函数(sigmoid函数)
该函数常被用作神经网络的激活函数。
-
LR的似然函数
-
需要选择合适的参数θ 使似然函数最大化
. LR 似然函数最大化,求出合适的参数θ
第一步: 对似然函数取对数
第二步: 利用梯度下降法来求参数 θ
第三步: 更新法则:
softmax 回归
. softmax函数的定义
softmax函数又称为归一化指数函数,是逻辑函数一种推广式,它能将一个含任意实数的K维向量z “压缩”到另一个K维实向量中,使得每一个元素都在(0,1)之间,所有元素的何为1。
. softmax函数表达式
softmax函数的表达式为:
其中,j = 1,2,...,K
特别地,在多项逻辑回归和线性判别分析中,函数的输入是从K个不同的线性函数得到的结果,而样本向量x属于第j个分类的概率为:
. softmax的代价函数
类似于LR,其似然函数我们采用对数似然,故损失函数为:
加入L2正则项的代价函数:
. softmax的梯度求解
第一步: 对L2正则项求导
第二步: 对损失函数的梯度求解
-
求解损失函数
-
的梯度
-
为了使得求解过程简便且易于理解,下面先只对于一个样本(x,y)求梯度:
令
正则化之后的损失函数的梯度为:
通过梯度下降法最小化 J(θ),就能实现 softmax 回归模型。
以上是关于LR多分类与softmax分类的主要内容,如果未能解决你的问题,请参考以下文章