Logistic Regression几问
Posted Jarlene
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Logistic Regression几问相关的知识,希望对你有一定的参考价值。
Logistic Regression几问
LR原理
在线性回归的模型中,是求出输出特征向量Y和输入样本矩阵X之间的线性关系系数θ,满足Y=Xθ,此时Y是连续的,如果想要Y输出的不是连续的,有什么办法呢,此时我们加一个激活函数
g(Y)
g
(
Y
)
,此时Y输出值在某个范围中属于类别A,其他范围属于类别B,那么这个就是二元逻辑回归了,如果还有其他的类别则属于多元分类。
有了模型,接下来就是设定损失函数,来求解参数。我们以二元逻辑回归为例。
LR代价函数是什么
上一节中,我们阐述了LR的基本模型,但是我们没有设定优化损失函数,这一节我们将以二元逻辑回归为例设计损失函数,同时推广至多元损失函数。
我们知道在线性回归的损失函数是平方差,那么逻辑回归可以使用平方差吗?我们考虑线性回归输出是连续值,但是在逻辑回归是一个分类问题,输出值不连续,这个时候使用平方差就会存在问题(虽然可以强行使用)。因此我们需要寻找其他的损失函数来替代。我们可以从概率学角度进行分析。二元分类结果,所以其概率分别为:
P(y=1|x,θ)=gθ(x)
P
(
y
=
1
|
x
,
θ
)
=
g
θ
(
x
)
P(y=1|x,θ)=1−gθ(x)
P
(
y
=
1
|
x
,
θ
)
=
1
−
g
θ
(
x
)
两者统一起来
P(y|x,θ)=gθ(x)y(1−gθ(x))1−y
P
(
y
|
x
,
θ
)
=
g
θ
(
x
)
y
(
1
−
g
θ
(
x
)
)
1
−
y
根据似然函数最大化来求解我们需要的模型系数θ。
L(θ)=∏i=1m(gθ(x(i)))y(i)(1−gθ(x(i)))1−y(i)
L
(
θ
)
=
∏
i
=
1
m
(
g
θ
(
x
(
i
)
)
)
y
(
i
)
(
1
−
g
θ
(
x
(
i
)
)
)
1
−
y
(
i
)
对数似然函数取反即为我们的损失函数
J(θ)
J
(
θ
)
。
J(θ)=−lnL(θ)=−∑i=1m(y(i)log(gθ(x(i)))+(1−y(i))log(1−gθ(x(i))))
J
(
θ
)
=
−
l
n
L
(
θ
)
=
−
∑
i
=
1
m
(
y
(
i
)
l
o
g
(
g
θ
(
x
(
i
)
)
)
+
(
1
−
y
(
i
)
)
l
o
g
(
1
−
g
θ
(
x
(
i
)
)
)
)
其中m是样本数。至此,我们就找到了二元逻辑回归的损失函数。如何推广至多元损失函数呢?
假设是K元分类模型,即样本输出y的取值为1,2,…. ,K。二元逻辑回归的经验,可以得到:
P(y=1|x,θ)=gθ(x)
P
(
y
=
1
|
x
,
θ
)
=
g
θ
(
x
)
P(y=0|x,θ)=1−gθ(x)
P
(
y
=
0
|
x
,
θ
)
=
1
−
g
θ
(
x
)
那么
lnP(y=1|x,θ)R构建Logistic回归实战(Logistic Regression)