Deep learning 中的数学基础知识

Posted 2022-11-23 Vinicier

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Deep learning 中的数学基础知识相关的知识，希望对你有一定的参考价值。

1.微积分

导数：一个函数在某一点的导数描述了这个函数在这一点附近的变化率。

f′(a)=limh→0f(a+h)−f(a)h $f\'(a) = \\lim_h \\rightarrow 0 \\fracf(a+h)-f(a)h$
梯度:多元函数的导数就是梯度。

一阶导数和梯度（gradient）

$f\'(x)$ ;

∇f(X)=∂f(X)∂X=⎡⎣⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢∂f(X)∂x1∂f(X)∂x2⋮∂f(X)∂xn⎤⎦⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥ $\\nabla f(\\bfX) = \\frac\\partial f(\\bfX)\\partial \\bfX = \\beginbmatrix \\frac\\partial f(\\bfX)\\partial x_1 \\\\ \\frac\\partial f(\\bfX)\\partial x_2 \\\\ \\vdots\\\\ \\frac\\partial f(\\bfX)\\partial x_n \\\\ \\endbmatrix$
二阶导数与Hessian矩阵：

$f\'\'(x)$ ;

H(x)=∇2f(X)=⎡⎣⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢∂2f(X)∂x12∂2f(X)∂x2∂x1⋮∂2f(X)∂xn∂x1∂2f(X)∂x1∂x2∂2f(X)∂x22⋮∂2f(X)∂xn∂x2⋯⋯⋱⋯∂2f(X)∂以上是关于Deep learning 中的数学基础知识的主要内容，如果未能解决你的问题，请参考以下文章

[Deep-Learning-with-Python]神经网络的数学基础

#Deep Learning回顾#之LeNetAlexNetGoogLeNetVGGResNet

《Deep Learning》-概率和信息论

卷积在深度学习中的作用（转自http://timdettmers.com/2015/03/26/convolution-deep-learning/）

Deep Learning基础--理解LSTM/RNN中的Attention机制

Deep Learning基础--线性解码器卷积池化