Logistic Regression几问
Posted Jarlene
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Logistic Regression几问相关的知识，希望对你有一定的参考价值。
Logistic Regression几问
LR原理
在线性回归的模型中，是求出输出特征向量Y和输入样本矩阵X之间的线性关系系数θ，满足Y=Xθ，此时Y是连续的，如果想要Y输出的不是连续的，有什么办法呢，此时我们加一个激活函数
g(Y)
g
(
Y
)
，此时Y输出值在某个范围中属于类别A，其他范围属于类别B，那么这个就是二元逻辑回归了，如果还有其他的类别则属于多元分类。
有了模型，接下来就是设定损失函数，来求解参数。我们以二元逻辑回归为例。
LR代价函数是什么
上一节中，我们阐述了LR的基本模型，但是我们没有设定优化损失函数，这一节我们将以二元逻辑回归为例设计损失函数，同时推广至多元损失函数。
我们知道在线性回归的损失函数是平方差，那么逻辑回归可以使用平方差吗？我们考虑线性回归输出是连续值，但是在逻辑回归是一个分类问题，输出值不连续，这个时候使用平方差就会存在问题（虽然可以强行使用）。因此我们需要寻找其他的损失函数来替代。我们可以从概率学角度进行分析。二元分类结果，所以其概率分别为：
P(y=1|x,θ)=gθ(x)
P
(
y
=
1
|
x
,
θ
)
=
g
θ
(
x
)
P(y=1|x,θ)=1−gθ(x)
P
(
y
=
1
|
x
,
θ
)
=
1
−
g
θ
(
x
)
两者统一起来
P(y|x,θ)=gθ(x)y(1−gθ(x))1−y
P
(
y
|
x
,
θ
)
=
g
θ
(
x
)
y
(
1
−
g
θ
(
x
)
)
1
−
y
根据似然函数最大化来求解我们需要的模型系数θ。
L(θ)=∏i=1m(gθ(x(i)))y(i)(1−gθ(x(i)))1−y(i)
L
(
θ
)
=
∏
i
=
1
m
(
g
θ
(
x
(
i
)
)
)
y
(
i
)
(
1
−
g
θ
(
x
(
i
)
)
)
1
−
y
(
i
)
对数似然函数取反即为我们的损失函数
J(θ)
J
(
θ
)
。
J(θ)=−lnL(θ)=−∑i=1m(y(i)log(gθ(x(i)))+(1−y(i))log(1−gθ(x(i))))
J
(
θ
)
=
−
l
n
L
(
θ
)
=
−
∑
i
=
1
m
(
y
(
i
)
l
o
g
(
g
θ
(
x
(
i
)
)
)
+
(
1
−
y
(
i
)
)
l
o
g
(
1
−
g
θ
(
x
(
i
)
)
)
)
其中m是样本数。至此，我们就找到了二元逻辑回归的损失函数。如何推广至多元损失函数呢?
假设是K元分类模型,即样本输出y的取值为1，2，…. ，K。二元逻辑回归的经验，可以得到：
P(y=1|x,θ)=gθ(x)
P
(
y
=
1
|
x
,
θ
)
=
g
θ
(
x
)
P(y=0|x,θ)=1−gθ(x)
P
(
y
=
0
|
x
,
θ
)
=
1
−
g
θ
(
x
)
那么
lnP(y=1|x,θ)R构建Logistic回归实战（Logistic Regression）