在哪里能找到最后的版本的示例程序？ AI Studio-MNIST

Posted 卓晴

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了在哪里能找到最后的版本的示例程序？ AI Studio-MNIST相关的知识，希望对你有一定的参考价值。

简 介： 在上面测试过程中总是时不常碰到版本不兼容的问题。这还是都是在AI STudio环境测试的结果。不知为什么，现在手头的版本还是没有能够反映出最终的软件的版本的情况下。

关键词： AI，MNIST
横纵教学法
文章目录
手写数字识别任务
MNIST数据集合
构建CNN
极简方案
建立MNIST工程
测试条件
显示图片
飞浆API
总 结

 

§01 横纵教学法

  这是 零基础实践深度学习 中【2.2】MNIST实验内容。

  核心的内容来自于： 百度架构师手把手带你零基础入门深度学习 。

▲ 图1.2 深度学习零基础实践

一、手写数字识别任务

  数字识别是计算机从纸质文档、照片或其他来源接收、理解并识别可读的数字的能力，目前比较受关注的是手写数字识别。手写数字识别是一个典型的图像分类问题，已经被广泛应用于汇款单号识别、手写邮政编码识别，大大缩短了业务处理时间，提升了工作效率和质量。

  在处理如 图1 所示的手写邮政编码的简单图像分类任务时，可以使用基于MNIST数据集的手写数字识别模型。MNIST是深度学习领域标准、易用的成熟数据集，包含60000条训练样本和10000条测试样本。

▲ 图1.1.1 手写数字识别任务

  手写数字识别是深度学习中相对简单的模型，非常适用初学者。正如学习编程时，我们输入的第一个程序是打印“Hello World！”一样。 在飞桨的入门教程中，我们选取了手写数字识别模型作为启蒙教材，以便更好的帮助读者快速掌握飞桨平台的使用。

二、MNIST数据集合

  MNIST数据集是从NIST的Special Database 3（SD-3）和Special Database 1（SD-1）构建而来。Yann LeCun等人从SD-1和SD-3中各取一半作为MNIST训练集和测试集，其中训练集来自250位不同的标注员，且训练集和测试集的标注员完全不同。

▲ 图1.2.1 MNIST数据集合

  在MNIST 数据集中有两类图像：一类是训练图像（对应文件train-images-idx3-ubyte.gz 和train - labels-idx1-ubyte.gz ）， 另一类是测试图像（对应文件t10k-images-idx3-ubyte.gz 和t10k-labels-idx1-ubyte.gz ） 。训练图像一共有60000 张，供研究人员训练出合适的模型。测试图像一共有10000 张，供研究人员测试训练的模型的性能。在TensorFlow 中， 可以使用下面的Python 代码下载MNIST 数据（在随书附赠的代码中，该代码对应的文件是donwload.py ）。

三、构建CNN

1、构建NN过程

(1) 构建具体流程

▲ 图1.3.1 利用PaddlePaddle构建NN过程

(2) 构建NN特点

  • 从代码结构上看，模型均为数据处理、定义网络结构和训练过程三个部分。

  • 从代码细节来看，两个模型也很相似。

  这就是使用飞桨框架搭建深度学习模型的优势，只要完成一个模型的案例学习，其它任务即可触类旁通。在工业实践中，程序员用飞桨框架搭建模型，无需每次都另起炉灶，多数情况是先在飞桨模型库中寻找与目标任务类似的模型，再在该模型的基础上修改少量代码即可完成新的任务。

▲ 图1.3.2 利用PaddlePaddle构建NN的代码示例

2、横纵教学方法

▲ 图1.1 “横纵式”教学方法-纵向极简实现方案

  在“横纵式”教学法中，纵向概要介绍模型的基本代码结构和极简实现方案。横向深入探讨构建模型的每个环节中，更优但相对复杂的实现方案。例如在模型设计环节，除了在极简版本使用的单层神经网络（与房价预测模型一样）外，还可以尝试更复杂的网络结构，如多层神经网络、加入非线性的激活函数，甚至专门针对视觉任务优化的卷积神经网络。

  这种“横纵式”教学法的设计思路尤其适用于深度学习的初学者，具有如下两点优势：

  • 帮助读者轻松掌握深度学习内容：采用这种方式设计教学案例，读者在学习过程中接收到的信息是线性增长的，在难度上不会有阶跃式的提高。
  • 模拟真实建模的实战体验：先使用熟悉的模型构建一个可用但不够出色的基础版本（Baseline），再逐渐分析每个建模环节可优化的点，一点点的提升优化效果，让读者获得到真实建模的实战体验。

  相信在本章结束时，大家会对深入实践深度学习建模有一个更全面的认识，接下来我们将逐步学习建模的方法。

 

§02 极简方案

一、建立MNIST工程

  在AI Studio下简历MNIST Notebook工程。在建立过程中增加MNIST数据集合。

1、添加MNIST数据集合

▲ 图2.1.1 MNIST手写体工程

2、处理数据集合

  进入数据库看到对应的数据文件。它们都是压缩文件。

▲ 图2.1.2 进入工程之后看到的数据文件

▲ 图2.1.3 进入工程之后看到的数据文件

(1) 加压缩数据文件

▲ 图2.1.4 通过鼠标右键加压缩数据文件

二、测试条件

  根据 百度架构师手把手带你零基础入门深度学习 中测试，测试paddlepaddle环境中软件包是否符合要求。

1、测试数据包

import paddle
import paddle.fluid as fluid
from paddle.fluid.dygraph.nn import FC
import numpy as np
import os
from PIL import Image

/opt/conda/envs/python35-paddle120-env/lib/python3.7/site-packages/setuptools/depends.py:2: DeprecationWarning: the imp module is deprecated in favour of importlib; see the module's documentation for alternative uses
  import imp
Traceback (most recent call last):
  File "testmnist.py", line 7, in <module>
    from paddle.fluid.dygraph.nn import FC
ImportError: cannot import name 'FC' from 'paddle.fluid.dygraph.nn' (/opt/conda/envs/python35-paddle120-env/lib/python3.7/site-packages/paddle/fluid/dygraph/nn.py)

2、为什么出现错误？

import paddle
import paddle.fluid as fluid
import numpy as np
import os
from PIL import Image

printf(dir(paddle.fluid.dygraph))

  在 fluid.dygraph 给出了了dygraph中的包含的内容。

▲ 图2.2.1 fluid.dygraph中 FC的定义

  但是在上面给出的fluid.dygraph测试过程中，可以看到其中并不包含“FC”。

['AmpScaler', 'BatchNorm', 'BilinearTensorProduct', 'Conv2D', 'Conv2DTranspose', 'Conv3D', 'Conv3DTranspose', 'CosineDecay', 'DataParallel', 'Dropout', 'Embedding', 'ExponentialDecay', 'Flatten', 'GRUCell', 'GRUUnit', 'GroupNorm', 'InstanceNorm', 'InverseTimeDecay', 'LSTMCell', 'LambdaDecay', 'Layer', 'LayerList', 'LayerNorm', 'Linear', 'LinearLrWarmup', 'MultiStepDecay', 'NCE', 'NaturalExpDecay', 'NoamDecay', 'OptimizerState', 'PRelu', 'ParallelEnv', 'ParameterList', 'PiecewiseDecay', 'PolynomialDecay', 'Pool2D', 'ProgramTranslator', 'ReduceLROnPlateau', 'Sequential', 'SpectralNorm', 'StaticModelRunner', 'StepDecay', 'TracedLayer', 'Tracer', 'TranslatedLayer', 'TreeConv', '__all__', '__builtins__', '__cached__', '__doc__', '__file__', '__loader__', '__name__', '__package__', '__path__', '__spec__', 'amp', 'amp_decorate', 'amp_guard', 'base', 'checkpoint', 'container', 'core', 'declarative', 'defaultdict', 'disable_dygraph', 'dygraph_to_static', 'dygraph_to_static_func', 'enable_dygraph', 'enabled', 'framework', 'grad', 'guard', 'inplace_apis_in_dygraph_only', 'inplace_utils', 'io', 'jit', 'layer_hooks', 'layer_object_helper', 'layers', 'learning_rate_scheduler', 'load', 'load_dygraph', 'math_op_patch', 'monkey_patch_math_varbase', 'nn', 'no_grad', 'no_grad_', 'not_to_static', 'parallel', 'parallel_helper', 'prepare_context', 'print_function', 'rnn', 'save', 'save_dygraph', 'set_code_level', 'set_verbosity', 'six', 'static_runner', 'to_variable', 'tracer', 'varbase_patch_methods']

（1）修改方法

  将原来的 FC 修改为 “fc”，问题解决了。

#!/usr/local/bin/python
# -*- coding: gbk -*-
#============================================================
# TESTMNIST.PY                 -- by Dr. ZhuoQing 2021-12-09
#
# Note:
#============================================================

from headm import *

import paddle
import paddle.fluid as fluid
#from paddle.fluid.dygraph.nn import fc
import numpy as np
import os
from PIL import Image

#------------------------------------------------------------

#printf(dir(paddle.fluid.dygraph))

#------------------------------------------------------------
#        END OF FILE : TESTMNIST.PY
#============================================================

/opt/conda/envs/python35-paddle120-env/lib/python3.7/site-packages/setuptools/depends.py:2: DeprecationWarning: the imp module is deprecated in favour of importlib; see the module's documentation for alternative uses
  import imp

（2）进一步探讨

  通过以下命令，可以获得当前paddle的版本：

printf(paddle.__version__)

  当前的paddle的版本： 2.2.0

  根据 Paddle 1.8 与 Paddle 2.0 API映射表 给出的Paddle2.0 API的修改。原来对应的Paddle1.8中的 paddle.fluid.layers.fc 已经被以下两个函数替代：

3、下载数据库

trainset = paddle.dataset.mnist.train()
train_reader = paddle.batch(trainset, batch_size=8)

[==================================================]t/train-images-idx3-ubyte.gz not found, downloading https://dataset.bj.bcebos.com/mnist/train-images-idx3-ubyte.gz
[==================================================]t/train-labels-idx1-ubyte.gz not found, downloading https://dataset.bj.bcebos.com/mnist/train-labels-idx1-ubyte.gz

Cache file /home/aistudio/.cache/paddle/dataset/mnist/train-images-idx3-ubyte.gz not found, downloading https://dataset.bj.bcebos.com/mnist/train-images-idx3-ubyte.gz 
Begin to download
item 2421/2421 [============================>.] - ETA以上是关于在哪里能找到最后的版本的示例程序？ AI Studio-MNIST的主要内容，如果未能解决你的问题，请参考以下文章
 

 我在哪里可以找到最新版本的 QtQuick2 库？


 OpenCV的示例程序在哪里？


 我在哪里可以找到 Worklight Studio 版本 v6.1？我现在能找到的唯一版本是 eclipse 市场上的 v6.2 [关闭]


 在哪里能找到windows所有的API函数


 如何找到 Android 应用程序的库版本？


 我在哪里可以找到我的 yii 应用程序的 yii 版本？