一起入门DeepLearning中科院深度学习_期末复习题2018-2019第二题：求梯度
Posted vector<>
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了一起入门DeepLearning中科院深度学习_期末复习题2018-2019第二题：求梯度相关的知识，希望对你有一定的参考价值。
专栏介绍：本栏目为 “2022春季中国科学院大学王亮老师的深度学习” 课程记录，这门课程与自然语言处理以及机器学习有部分知识点重合，重合的部分不再单独开博客记录了，有需要的读者可以移步 💗自然语言处理专栏和💗机器学习专栏。 如果感兴趣的话，就和我一起入门DL吧🥰
🍓 2018-2019 学年第二学期期末试题
想了解梯度下降算法可以看这篇博客：【一起入门NLP】中科院自然语言处理第3课-前馈神经网络DNN（反向传播+梯度下降），这个题目完全是数学问题，一个很难算的数学问题😅下面是两位师兄的参考答案：
答案一：
答案二：
1. 将各层的计算公式按标量形式展开，下标中带括号的表示在矩阵或向量中对应的位置：
z
1
(
j
)
=
∑
m
=
1
d
W
1
(
j
m
)
x
(
m
)
+
b
1
(
j
)
z_1(j)=\\sum_m=1^d W_1(j m) x_(m)+b_1(j)
z1(j)=∑m=1dW1(jm)x(m)+b1(j)
h
1
(
j
)
=
Re
L
U
(
z
1
(
j
)
)
h_1(j)=\\operatornameRe L U\\left(z_1(j)\\right)
h1(j)=ReLU(z1(j))
z
2
(
i
)
=
∑
n
=
1
h
W
2
(
i
n
)
h
1
(
n
)
+
b
2
(
i
)
z_2(i)=\\sum_n=1^h W_2(i n) h_1(n)+b_2(i)
z2(i)=∑n=1hW2(in)h1(n)+b2(i)
h
2
(
i
)
=
Re
L
U
(
z
2
(
i
)
)
h_2(i)=\\operatornameRe L U\\left(z_2(i)\\right)
h2(i)=ReLU(z2(i))
y
(
i
)
=
soft
max
(
h
2
(
i
)
)
=
e
h
2
(
i
)
∑
g
e
h
2
(
i
)
)
y_(i)=\\operatornamesoft \\max \\left(h_2(i)\\right)=\\frace^h_2(i)\\sum^g e^\\left.h_2(i)\\right)
y(i)=softmax(h2(i))=∑geh2(i)eh2(i))
J
=
C
E
(
y
,
y
^
)
=
−
∑
i
′
=
1
g
y
(
i
′
)
log
(
y
^
(
i
′
)
)
J=C E(y, \\haty)=-\\sum_i^\\prime=1^g y_\\left(i^\\prime\\right) \\log \\left(\\haty_\\left(i^\\prime\\right)\\right)
J=CE(y,y^)=−∑i′=1gy(i′)log(y^(i′))
2. 计算交叉熵的导数：
∂
J
∂
(
y
^
(
i
′
)
)
=
−
y
(
i
′
)
y
^
(
i
′
)
\\frac\\partial J\\partial\\left(\\haty_\\left(i^\\prime\\right)\\right)=-\\fracy_\\left(i^\\prime\\right)\\haty_\\left(i^\\prime\\right)
∂(y^(i′))∂J=−y^(i′)y(i′)
3. Softmax求导：
当
k
=
i
\\mathrmk=\\mathrmi
k=i 时
∂
y
^
(
i
)
∂
h
2
(
k
)
=
∂
y
^
(
i
)
∂
h
2
(
i
)
=
e
h
2
(
i
)
∑
i
′
=
1
g
e
h
2
(
i
)
−
(
e
h
2
(
i
)
)
2
(
∑
i
′
=
1
g
e
h
2
(
i
)
)
2
=
y
^
(
i
)
(
1
−
y
^
(
i
)
)
\\frac\\partial \\haty_(i)\\partial h_2(k)=\\frac\\partial \\haty_(i)\\partial h_2(i)=\\frace^h_2(i) \\sum_i^\\prime=1^g e^h_2(i)-\\left(e^h_2(i)\\right)^2\\left(\\sum_i^\\prime=1^g e^h_2(i)\\right)^2=\\haty_(i)\\left(1-\\haty_(i)\\right)
∂h2(k)∂y^(i)=∂h2(i)∂y^(i)=(∑i′=1geh2(i))2eh2(i)∑i′=1ge一起入门DeepLearning中科院深度学习_期末复习题2018-2019第二题：求梯度
推荐序：《Deeplearning4j 快速入门》课程，深度学习必备秘籍
推荐序：《Deeplearning4j 快速入门》课程，深度学习必备秘籍