Deep learning 中的数学基础知识

Posted 2022-11-23 Vinicier

1.微积分

导数：一个函数在某一点的导数描述了这个函数在这一点附近的变化率。

$$f\'(a) = \\lim_h \\rightarrow 0 \\fracf(a+h)-f(a)h$$

梯度

:多元函数的导数就是梯度。

一阶导数和梯度（gradient）

​ $f\'(x)$ ;

$$\\nabla f(\\bfX) = \\frac\\partial f(\\bfX)\\partial \\bfX = \\beginbmatrix \\frac\\partial f(\\bfX)\\partial x_1 \\\\ \\frac\\partial f(\\bfX)\\partial x_2 \\\\ \\vdots\\\\ \\frac\\partial f(\\bfX)\\partial x_n \\\\ \\endbmatrix$$

二阶导数与Hessian矩阵

：

$f\'\'(x)$;

H(x)=∇2f(X)=⎡⎣⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢∂2f(X)∂x12∂2f(X)∂x2∂x1⋮∂2f(X)∂xn∂x1∂2f(X)∂x1∂x2∂2f(X)∂x22⋮∂2f(X)∂xn∂x2⋯⋯⋱⋯∂2f(X)∂以上是关于Deep learning 中的数学基础知识的主要内容，如果未能解决你的问题，请参考以下文章