机器学习笔记——逻辑回归
Posted 无情码手
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了机器学习笔记——逻辑回归相关的知识，希望对你有一定的参考价值。
逻辑回归
Hypothesis function 预测函数
h
θ
(
x
)
=
1
1
+
e
−
x
∗
θ
T
(1)
h_\\theta(x) = \\frac11+e^-\\boldx*\\theta^T \\tag1
hθ(x)=1+e−x∗θT1(1)
代价函数
Cost ( h θ ( x ) , y ) = − log ( h θ ( x ) ) if y = 1 − log ( 1 − h θ ( x ) ) if y = 0 (2) \\operatornameCost\\left(h_\\theta(x), y\\right)=\\left\\\\beginaligned -\\log \\left(h_\\theta(x)\\right) & \\text if y=1 \\\\ -\\log \\left(1-h_\\theta(x)\\right) & \\text if y=0 \\endaligned\\right. \\tag2 Cost(hθ(x),y)=−log(hθ(x))−log(1−hθ(x)) if y=1 if y=0(2)
Cost ( h θ ( x ) , y ) = − y × log ( h θ ( x ) ) − ( 1 − y ) × log ( 1 − h θ ( x ) ) (3) \\operatornameCost\\left(h_\\theta(x), y\\right)=-y \\times \\log \\left(h_\\theta(x)\\right)-(1-y) \\times \\log \\left(1-h_\\theta(x)\\right) \\tag3 Cost(hθ(x),y)=−y×log(hθ(x))−(1−y)×log(1−hθ(x))(3)
\\qquad 其图如下，也就是说当 y = 1 y=1 y=1时， h θ ( x ) h_\\theta(x) hθ(x)越接近于1， C o s t Cost Cost越小。当 y = 0 y=0 y=0时， h θ ( x ) h_\\theta(x) hθ(x)越接近于0， C o s t Cost Cost越小。换句话说，在使用这样的代价函数进行模型的训练时，会让 y = 0 y=0 y=0时的 h θ ( x ) h_\\theta(x) hθ(x)趋于 0 0 0，会让 y = 1 y=1 y=1时的 h θ ( x ) h_\\theta(x) hθ(x)趋于 1 1 1。也就是说，对于最终训练得到的模型， h θ ( x ) h_\\theta(x) hθ(x)越大，表明它被判别为这一类的可能性越大。
\\qquad
最终的代价函数定义为如下，其中m代表总的x的样本量。
J
(
θ
)
=
1
m
∑
i
=
1
m
[
−
y
(
i
)
log
(
h
θ
(
x
(
i
)
)
)
−
(
1
−
y
(
i
)
)
log
(
1
−
h
θ
(
x
(
i
)
)
)
]
(4)
J(\\theta)=\\frac1m \\sum_i=1^m\\left[-y^(i) \\log \\left(h_\\theta\\left(x^(i)\\right)\\right)-\\left(1-y^(i)\\right) \\log \\left(1-h_\\theta\\left(x^(i)\\right)\\right)\\right] \\tag4
J(θ)=m1i=1∑m[−y(i)log(hθ(x(i)))−(1−y(i))log(1−hθ(x(i)))](4)
\\qquad
J
(
θ
)
J(\\theta)
J(θ)的偏导数的最终推导结果如下，其中i表示第i个数据，j表示该数据的第j维的值。
∂
∂
θ
j
J
(
θ
)
=
∂
∂
θ
j
[
−
1
m
∑
i
=
1
m
[
−
y
(
i
)
log
(
1
+
e
−
θ
T
x
(
i
)
)
−
(
1
−
y
(
i
)
)
log
(
1
+
e
θ
T
x
(
i
)
)
]
]
=
1
m
∑
i
=
1
m
[
h
θ
(
x
(
i
)
)
−
y
(
i
)
]
x
j
(
i
)
(5)
\\beginaligned \\frac\\partial\\partial \\theta_j J(\\theta)=&\\frac\\partial\\partial \\theta_j\\left[-\\frac1m \\sum_i=1^m\\left[-y^(i) \\log \\left(1+e^-\\theta^T x^(i)\\right)-\\left(1-y^(i)\\right) \\log \\left(1+e^\\theta^T x^(i)\\right)\\right]\\right]\\\\ =&\\frac1m \\sum_i=1^m\\left[h_\\theta\\left(x^(i)\\right)-y^(i)\\right] x_j^(i) \\endaligned \\tag5
∂θj∂J(θ)==∂θj∂[−m1i=1∑m[−y(i)log(1+e−θTx以上是关于机器学习笔记——逻辑回归的主要内容，如果未能解决你的问题，请参考以下文章