NNDL实验五前馈神经网络-二分类任务

Posted 2022-09-30 刘先生TT

前言：附上kaggle连接，前馈神经网络实验，这次实验是使用Pytorch做神经网络，已经通过学习对前馈神经网络进行进一步的了解。这次实验主要是神经网络和对其进行二分类任务。大体思路是利用模型的构建步骤，构建数据集=>构建模型=>损失函数=>模型优化=>模型训练=>模型评估=>保存模型进行模型训练。

文章目录

• 4.1神经元
• • 4.1.1 净活性值
  • 4.1.2激活函数
  • • 4.1.2.1 Sigmoid型函数
    • 4.1.2.2ReLU型函数
• 4.2基于前馈神经网络的二分类任务
• • 4.2.1 数据集构建
  • 4.2.2模型构建
  • • 4.2.2.1 线性层算子
    • 4.2.2.2 Logstic算子
    • 4.2.3.3 层次串行组合
  • 4.2.3 损失函数
  • 4.2.4模型优化
  • • 4.2.4.1 反向传播算法
    • 4.2.4.2 损失函数
    • 4.2.4.3 Logsitc算子
    • 4.2.4.4 线性层
    • 4.2.4.5 整个网络
    • 4.2.4.6 优化器
    • 4.2.5 完善Runner类：RunnerV2_1
    • 4.2.6 模型训练
    • 4.2.7 性能评价
• 心得体会
• 疑问解答
• 参考
• 补充
• • 欠拟合和过拟合产生的原因及解决办法（机器学习回顾）
  • • 过拟合和欠拟合
    • 过拟合的解决办法
    • • 正则化(见第三章课后作业)
      • drop out（丢弃某些神经元）
      • early stopping(早停)
    • 欠拟合的解决办法

4.1神经元

神经网络的基本组成单元为带有非线性激活函数的神经元，其结构如如图4.2所示。神经元是对生物神经元的结构和特性的一种简化建模，接收一组输入信号并产生输出。

4.1.1 净活性值

假设一个神经元接收的输入为$x\in R^D$，其权重向量为$w\in R^D$，神经元所获得的输入信号，即净活性值z的计算方法为
$$z=w^{T}x+b(4.1)$$
其中$b$为偏置。
为了提高预测样本的效率，我们通常会将个样本归为一组进行成批地预测。
$$z=Xw+b(4.2)$$
其中$X\in R^{N\times D}$为$N$个样本的特征矩阵，$z\in R^N$为$N$个预测值组成的列向量。
使用pytorch计算一组输入的净活性值，代码如下：

import torch

# 2个特征数为5的样本
X = torch.rand(size=[2, 5])

# 含有5个参数的权重向量
w = torch.rand(size=[5, 1])
# 偏置项
b = torch.rand(size=[1, 1])

# 使用'torch.matmul'实现矩阵相乘
z = torch.matmul(X, w) + b
print("input X:", X)
print("weight w:", w, "\\nbias b:", b)
print("output z:", z)

【思考题】加权求和与仿射变换之间有什么区别和联系？

答： 根据我的理解和查阅资料可知，可能存在误解，欢迎指正
加权和:相当于降维的一种，即将多维数据根据其重要性进行求和降成一维数据。
仿射变换:又称仿射映射，是指在几何中，一个向量空间进行一次线性变换并接上一个平移，变换为另一个向量空间。
联系：虽然两种解释是不同的，但是通过公式我们可以发现二者的计算过程是一样的。我认为加权和只是仿射变换的一维形式。即二维矩阵的第一个维度为一的情况下的仿射变换为加权和。就像深度学习中而利用神经网络进行二分类学习，最后一层隐藏层神经元和输出层神经元的关系一样。既可以当成加权和又可以当成仿射变换。
区别:加权和是一维数据进行处理。仿射变换则是二维数据，利用矩阵计算进行处理，在深度学习中的体现，加权和最终计算的是一个神经元的输入，仿射变换则对应的是一层神经元的输入。

拓展：仿射变化在图像变换中的应用：
仿射变换在图形中的变换包括：平移、缩放、旋转、斜切及它们的组合形式。这些变换的特点是：平行关系和线段的长度比例保持不变。

矩阵公式：

平移变换$\left[\begin{array}{c}{x}^{{}^{\prime }}\\ y^{{}^{\prime }}\\ 1\end{array}\right]=\left[\begin{array}{ccc}1& 0& t_x\\ 0& 1& t_y\\ 0& 0& 1\end{array}\right]\times \left[\begin{array}{c}x\\ y\\ 1\end{array}\right]$
$t_x,t_y$为x、y轴平移量的大小。
尺度变换$\left[\begin{array}{c}{x}^{{}^{\prime }}\\ y^{{}^{\prime }}\\ 1\end{array}\right]=\left[\begin{array}{ccc}s& 0& 0\\ 0& s& 0\\ 0& 0& 1\end{array}\right]\times \left[\begin{array}{c}x\\ y\\ 1\end{array}\right]$
$s$为变化的倍数
斜切变换:$\left[\begin{array}{c}{p}^{{}^{\prime }}\\ 1\end{array}\right]=\left[\begin{array}{cc}A& B\\ 0& 0\end{array}\right]\times \left[\begin{array}{c}p\\ 1\end{array}\right]$
$A、B$为x、y轴变换的自由度。
（温故而知新：激活函数在这里给神经网络带来了什么益处？最后给出答案）

4.1.2激活函数

净活性值$z$再经过一个非线性函数$f(\cdot )$后，得到神经元的活性值$a$。

$$a=f(z)，（4.3）$$
激活函数通常为非线性函数，可以增强神经网络的表示能力和学习能力。常用的激活函数有S型函数和ReLU函数。

4.1.2.1 Sigmoid型函数

Sigmoid 型函数是指一类S型曲线函数，为两端饱和函数。常用的 Sigmoid 型函数有 Logistic 函数和 Tanh 函数，其数学表达式为

Logistic 函数：
$$\sigma (z)=\frac{1}{1+exp(-z)}(4.4)$$
Tanh函数
t a n h ( z ) = e x p ( z ) − e x p ( − z