卷积神经网络CNN实现mnist手写数字识别

Posted 2022-08-26 老师我作业忘带了

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了卷积神经网络CNN实现mnist手写数字识别相关的知识，希望对你有一定的参考价值。

🍨 本文为🔗365天深度学习训练营中的学习记录博客
🍦 参考文章地址： 🔗深度学习100例-卷积神经网络实现mnist手写数字识别
🍖 作者：K同学啊

本实验很适合小白入手。

实验目的：

初次尝试使用 tensorflow，构建卷积神经网络，通过训练集训练模型，在测试集上进行测试。

注：tensorflow毕竟是个比较大的库，里面有很多对象、属性、方法等，我的考虑是需要用到什么再去学习怎么实现即可，这些库毕竟只是一个工具，重要的还是它本身的实现流程以及我们的思考。

实验介绍：

手写数字识别，从名字上来看它就是一个分类任务，我们需要处理大量的数据，使机器/模型能够更加准确地识别出：这张图片里的数字是n的可能性更大。

我们本次使用神经网络中最简单的 LeNet-5 模型来完成该实验，对于一些详细知识点，之前有过记载：

Logistic与Softmax: AI遮天传 DL-回归与分类_老师我作业忘带了的博客-CSDN博客
Softmax实验：Softmax实现手写数字识别_老师我作业忘带了的博客-CSDN博客
MLP： AI遮天传 DL-多层感知机_老师我作业忘带了的博客-CSDN博客
CNN：AI遮天传 DL-CNN_老师我作业忘带了的博客-CSDN博客

流程简要概括：

导入并处理数据
构建CNN模型、并编译模型
训练模型
预测

一、预处理工作

1、设置GPU 如果使用的是CPU计算则忽略这步

import tensorflow as tf
gpus = tf.config.list_physical_devices("GPU")

if gpus:
    gpu0 = gpus[0] #如果有多个GPU，仅使用第0个GPU
    tf.config.experimental.set_memory_growth(gpu0, True) #设置GPU显存用量按需使用
    tf.config.set_visible_devices([gpu0],"GPU")

目前来讲复制粘贴上去即可，告诉 tensorflow 本次实验使用的是GPU。

2、导入数据

# datasets数据集类 里面有包括mnist在内的多种数据集
# layers 下方构建模型时会用到 如 layers.Conv2D(...) 则是设置一个卷积层
# models 后面通过它来创建模型
from tensorflow.keras import datasets, layers, models

# 导入mnist数据，依次分别为训练集图片、训练集标签、测试集图片、测试集标签
train_images, train_labels, test_images, test_labels = datasets.mnist.load_data()

# 查看数据维数信息
train_images.shape,test_images.shape,train_labels.shape,test_labels.shape

3、归一化

归一化的作用：

使不同量纲处于同一数量级，减少方差大的影响特征，使模型更准确。
加快学习算法的收敛速度

对于第一点，比如一个特征的范围是在0~10000，而另一个特征的范围在0~1，当我们根据这两个特征对某个人进行打分时，如果不做处理，第二个特征所带来的影响就微乎其微了。

# 将像素的值标准化至0到1的区间内。(对于灰度图片来说，每个像素最大值是255，每个像素最小值是0，也就是直接除以255就可以完成归一化。)
train_images, test_images = train_images / 255.0, test_images / 255.0

4、可视化图片

该操作仅仅是让我们进行观察

# 将数据集前20个图片数据可视化显示
# 进行图像大小为20宽、10长的绘图(单位为英寸inch)
plt.figure(figsize=(20,10))
# 遍历MNIST数据集下标数值0~49
for i in range(20):
    # 将整个figure分成2行10列，绘制第i+1个子图。
    plt.subplot(2,10,i+1)
    # 设置不显示x轴刻度
    plt.xticks([])
    # 设置不显示y轴刻度
    plt.yticks([])
    # 设置不显示子图网格线
    plt.grid(False)
    # 图像展示，cmap为颜色图谱，"plt.cm.binary"为matplotlib.cm中的色表
    plt.imshow(train_images[i], cmap=plt.cm.binary)
    # 设置x轴标签显示为图片对应的数字
    plt.xlabel(train_labels[i])
# 显示图片
plt.show()

5、调整图片格式

之前我们读入图片数据、划分数据集的时候可以看到：

train_images.shape,test_images.shape,train_labels.shape,test_labels.shape

((60000, 28, 28), (10000, 28, 28), (60000,), (10000,))

训练集有60000个，每个是28*28的二维矩阵，我们需要做的就是将其变成三维，以便我们后续传入模型做处理：

#调整数据到我们需要的格式
train_images = train_images.reshape((60000, 28, 28, 1))
test_images = test_images.reshape((10000, 28, 28, 1))

train_images.shape,test_images.shape,train_labels.shape,test_labels.shape
# ((60000, 28, 28, 1), (10000, 28, 28, 1), (60000,), (10000,))

二、构建CNN网络模型

# 创建并设置卷积神经网络
# 卷积层：通过卷积操作对输入图像进行降维和特征抽取
# 池化层：是一种非线性形式的下采样。主要用于特征降维，压缩数据和参数的数量，减小过拟合，同时提高模型的鲁棒性。
# 全连接层：在经过几个卷积和池化层之后，神经网络中的高级推理通过全连接层来完成。
model = models.Sequential([
    # 设置二维卷积层1，设置32个3*3卷积核，activation参数将激活函数设置为ReLu函数，input_shape参数将图层的输入形状设置为(28, 28, 1)
    # ReLu函数作为激活励函数可以增强判定函数和整个神经网络的非线性特性，而本身并不会改变卷积层
    # 相比其它函数来说，ReLU函数更受青睐，这是因为它可以将神经网络的训练速度提升数倍，而并不会对模型的泛化准确度造成显著影响。
    layers.Conv2D(32, (3, 3), activation='relu', input_shape=(28, 28, 1)),
    #池化层1，2*2采样
    layers.MaxPooling2D((2, 2)),                   
    # 设置二维卷积层2，设置64个3*3卷积核，activation参数将激活函数设置为ReLu函数
    layers.Conv2D(64, (3, 3), activation='relu'),  
    #池化层2，2*2采样
    layers.MaxPooling2D((2, 2)),                   
    
    layers.Flatten(),                    #Flatten层，连接卷积层与全连接层
    layers.Dense(64, activation='relu'), #全连接层，特征进一步提取，64为输出空间的维数，activation参数将激活函数设置为ReLu函数
    layers.Dense(10)                     #输出层，输出预期结果，10为输出空间的维数
])
# 打印网络结构
model.summary()

CNN网络模型是怎么个工作原理呢？ AI遮天传 DL-CNN_老师我作业忘带了的博客-CSDN博客

之前笔记有过记载，这里再大致回顾一下：

对于一个输入/一张图片，对它进行：卷积-->池化-->卷积-->池化-->...-->全连接层-->输出层

这样的处理，才能得到一个输出。

如果是分类任务，那么输出层使用分类模型，如Softmax

如果是回归任务，那么输出层使用对应的回归模型。

卷积层的作用：

是用卷积核进行图片特征提取。
节省参数量
此外卷积核内数值/权重等的不同，会影响卷积后输出图像的特征。
- 如果卷积核上密下稀，则输出图片也有该特征

池化层的作用：

下采样，用更高层的抽象表示图片特征
减少分类中特征的数目
增大下一层的感受区域
池化后的特征在局部区域内拥有一定的平移不变性

至于一些激活函数等问题这里不做讨论。

三、编译模型

我们上面实例化了模型类得到了model对象，我们对该模型进行优化器、损失函数等的设置：

# model.compile()方法用于在配置训练方法时，告知训练时用的优化器、损失函数和准确率评测标准
model.compile(
    # 设置优化器为Adam优化器
    optimizer='adam',
    # 设置损失函数为交叉熵损失函数（tf.keras.losses.SparseCategoricalCrossentropy()）
    # from_logits为True时，会将y_pred转化为概率（用softmax），否则不进行转换，通常情况下用True结果更稳定
    loss=tf.keras.losses.SparseCategoricalCrossentropy(from_logits=True),
    # 设置性能指标列表，将在模型训练时监控列表中的指标
    metrics=['accuracy'])

四、训练模型

与sklearn一样，这里也是通过fit来训练

# 设置输入训练数据集（图片及标签）、验证数据集（图片及标签）以及迭代次数epochs
history = model.fit(
    # 输入训练集图片
	train_images, 
	# 输入训练集标签
	train_labels, 
	# 设置10个epoch，每一个epoch都将会把所有的数据输入模型完成一次训练。
	epochs=10, 
	# 设置验证集
    validation_data=(test_images, test_labels))

五、预测

pre = model.predict(test_images) # 对所有测试图片进行预测
pre[1] # 输出第一张图片的预测结果

array([  6.69036  ,   7.1001296,  22.1585   , -15.970055 ,  -7.599791 ,
       -30.649395 ,  -2.9542866, -21.884026 ,  -8.757322 , -13.02776  ],
      dtype=float32)

可以看到，索引2的数字最大，代表其最可能为2：