牛客网算法八股刷题系列卷积函数随机梯度下降ReLU

Posted 2023-04-01 静静的喝酒

牛客网算法八股刷题系列——卷积函数、随机梯度下降、ReLU

• 题目描述
• • 正确答案：$\mathcal{B}$
  • 题目解析

题目描述

本节并不过多针对题目中的非线性，而更多关注随机梯度下降、卷积运算自身以及卷积运算与全连接运算在动机上的差异性。

下列哪一项在神经网络中引入了非线性$?()$

$\mathcal{A}$随机梯度下降

$\mathcal{B}$修正线性单元$(\text{ReLU})$

$\mathcal{C}$卷积函数

$\mathcal{D}$以上都不正确

正确答案：$\mathcal{B}$

题目解析

$\mathcal{A}$随机梯度下降$(\text{Stochastic Gradient Descent,SGD})$是梯度下降法($\text{Gradient Descent,GD}$)系列的一种算法表达。

在梯度下降法的基础上，随机梯度下降的核心操作在于：每次算法迭代中的采样操作。

关于机器学习算法中的代价函数$\mathcal{J}$可以分解成每个样本的损失函数总和：
已知数据集合$\mathcal{D}=x^{(i)},y^{(i)}{}_{i=1}^N$并以此作为‘真实分布/真实模型’${\mathcal{P}}_{data}$的参考。在极大似然估计与最大后验概率估计中介绍过，真实模型是客观的，是无法准确得到的分布结果。因而$\mathcal{D}$可理解为从真实分布${\mathcal{P}}_{data}$中采集出的样本组成的集合。
$$\begin{array}{rl}\mathcal{J}(\theta )& ={\mathbb{E}}_{x^{(i)},y^{(i)}\in {\mathcal{P}}_{data}}\mathcal{L}(x^{(i)},y^{(i)};\theta )\\ & =\frac{1}{N}\sum _{i=1}^N\mathcal{L}(x^{(i)},y^{(i)};\theta )\end{array}$$
其中，$\mathcal{L}$为损失函数，根据不同的处理任务，可使用不同的损失函数，这里不过多描述。基于梯度下降法，我们需要计算代价函数关于参数$\theta$的梯度${\nabla }_{\theta }\mathcal{J}(\theta )$：
$${\nabla }_{\theta }\mathcal{J}(\theta )=\frac{1}{N}\sum _{i=1}^N{\nabla }_{\theta }\mathcal{L}(x^{(i)},y^{(i)};\theta )$$

关于随机梯度下降，它的底层逻辑是：梯度自身就是期望结果，而期望可以用小规模样本近似估计。针对上式，可以使用牛顿-莱布尼兹公式，将梯度符号与积分号调换位置：
$${\nabla }_{\theta }\mathcal{J}(\theta )=\frac{1}{N}{\nabla }_{\theta }\left[\sum _{i=1}^N\mathcal{L}(x^{(i)},y^{(i)};\theta )\right]$$
因而上式描述的就是：$N$个样本对应损失函数结果期望的梯度。如果样本量$N$足够大，每一次求解梯度的代价(计算量)也是足够高的。

但期望自身是可以使用小规模样本近似估计，针对庞大的数据集合$\mathcal{D}$，在迭代过程中均匀抽取小批量($\text{MiniBatch}$)样本${\mathcal{D}}^{\prime }=(x^{(i)},y^{(i)}){}_{i=1}^m\in \mathcal{D}$，这个$m$是一个很小的数值，从一到几百。使用这种方式进行训练，其最大的优势是大幅度缩短迭代过程中的计算时长：
$$\begin{array}{l}{\mathbb{E}}_{x^{(i)},y^{(i)}\in {\mathcal{D}}^{\prime }}\left[\mathcal{L}(x^{(i)},y^{(i)};\theta )\right]\approx \mathcal{J}(\theta )\\ g=\frac{1}{m}{\nabla }_{\theta }\left[{\sum }_{i=1}^m\mathcal{L}(x^{(i)},y^{(i)};\theta )\right]\approx {\nabla }_{\theta }\mathcal{J}(\theta )\end{array}$$
具体执行过程表示如下：

• 在采样之前，将数据集$\mathcal{A}$