第三次作业--卷积神经网络

Posted 2021-10-18 zoe233333

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了第三次作业--卷积神经网络相关的知识，希望对你有一定的参考价值。

视频学习心得及问题总结

柯家航

学习总结

卷积神经网络：一种广泛应用于计算机图像处理的算法，用途包括以下几项
- 分类
- 检索
- 分割
- 检测
- 图像风格化处理
搭建神经网络的三个重要步骤：Neural Network(初步搭建神经网络的结构)->Cost Function-（找到合适的损失函数）>Optimization（找到一个合适的优化函数），在这三个过程当中都有对应的算法进行支持
卷积神经网络可以改善全连接网络由于权重聚恒参数太多出现过拟合的情况，主要的优化思想是：局部关联，参数共享
卷积的初步探究：卷积是对两个事变函数所进行的一种数学操作。y=wx+b，卷积的几个重要概念输入，卷积核，感受野，特征图，padding，深度，输出
池化：池化的主要目的是在保证图像主要特征的前提下尽可能减少参数和计算量，防止出现过拟合。池化有以下两种类型：
- 最大值池化
- 平均池化
卷积神经网络典型结构AlexNet：这中结构的特点在于可以进行大数据训练，同时加入了非线性激活函数ReLu，同时花样Dropout防止出现过拟合，具体网络执行过程如下
- 第一次卷积：卷积 ->ReLU->池化
- 第二次卷积：卷积->ReLu->池化
- 第三次卷积：卷积->ReLU
- 第五次卷积：卷积ReLU->池化
- 第六层：全连接->ReLU-DropOut
- 第八层：全连接->SoftMax
卷积神经网络典型结构：VGG，网络输入224*224的RGB网络网络有13个卷积层（conv3）、5个最大池化层（maxpool）、3个全连接层（FC）、1个softmax层（VGG16标准
卷积神经网络典型结构：ResNet，在这个网络当中采用的是一种找不同的思想，去掉相同的主题部分，从而突出微小的变化，这个模型可以被用来训练非常深的网络。

问题

ResNet的使用场景
池化可以让模型更加泛化，但是如何确定哪一些信息是有用的、哪一些是没用的？

杜易凇

学习总结

1、卷积神经网络的应用：分类、检索、检测、分割、人脸识别、图像生成、图像风格转化、自动驾驶
2、卷积：对两个实变函数的一种数学操作
通过使用filter来进行卷积，根据步长stride来移动，如果不够卷积大小的话可以用padding来周围进行补0，公式：(N+2*padding-F)/stride+1
3、池化：Polling保留主要特征的同时可以减少参数和计算量，防止过拟合
Polling的类型有最大值池化和平均值池化，实验中一般选最大值池化（一般表现较好）
4、全连接：一般放在卷积神经网络尾部
5、AlexNet结构：
运用非线性激活函数ReLU
通过Dropout, Data augementation防止过拟合
双GPU
6、ZFNet：结构与AlexNet相同，更改了一部分参数
7、VGG：把AlexNet的深度加深到16和19层
8、GoogleNet：使用多卷积核来增加特征多样性，但是计算量过大，所以通过1*1卷积核进行降维；Inception V3进一步降低参数量以及增加非线性激活函数。除最后的类别输出层没有额外的全连接层。
9、ResNet：残差学习网络，152层深度
残差：去掉相同主体部分
可以训练非常深的网络

疑问

1、为什么padding补的是0，而不是选择其他值
2、不同结构的网络使用什么场景

刘佳成

学习总结

绪论

卷积神经网络应用:
- 分类
- 检索
- 检测&分割
- 人脸表情识别
- 图像生成(对抗生成网络)
传统神经网络vs卷积神经网络不同
- 深度学习三部曲
  - 搭建神经网络结构
  - 找到合适的损失函数(交叉熵损失cross entropy loss,均方误差MSE)
  - 合适的优化函数,更新参数(反向传播BP,随机梯度下降SGD)
- 全连接网络处理图像的问题:参数太多,容易过拟合
- 卷积神经网络解决: 局部关联,参数共享(一行)
- 区别:CONY卷积、RELU激活、POOL池化、FC全连接（多一个RELU)

基本组成结构

卷积，卷积核，0填充的技巧
池化——保留主要特征的同时减少参数和计算量，防止过拟合
- 最大值池化
- 平均池化

卷积神经网络典型结构

AlexNet这中结构的特点在于可以进行大数据训练，同时加入了非线性激活函数ReLu，同时花样Dropout防止出现过拟合，具体网络执行过程如下
- 第一次卷积：卷积 ->ReLU->池化
- 第二次卷积：卷积->ReLu->池化
- 第三次卷积：卷积->ReLU
- 第五次卷积：卷积ReLU->池化
- 第六层：全连接->ReLU-DropOut
- 第八层：全连接->SoftMax
VGG，网络输入224*224的RGB网络网络有13个卷积层（conv3）、5个最大池化层（maxpool）、3个全连接层（FC）、1个softmax层（VGG16标准
ResNet，在这个网络当中采用的是一种找不同的思想，去掉相同的主题部分，从而突出微小的变化，这个模型可以被用来训练非常深的网络。

问题

过拟合是怎么回事？为什么会发生过拟合？

孙远宜

学习内容

通过这次视频学习，我认识到了卷积神经网络在我们生活中无处不在，我们在深度学习时可以先做一个表示，然后通过找一个合适的损失函数来评估我们的表示，然后再找一个优化函数来更新参数。卷积涉及了很多基本概念，了解了几个卷积神经网络典型结构的相关知识和优点，卷积神经网络是深度学习中的重要模型，极大地推进了图像分类、识别和理解技术的发展。通过与其他技术相结合，卷积神经网络可以应用于各种应用系统，使人工智能也迈向了影响深远的新时代。

学习问题

不太懂如何选择合适的损失函数，对于如何拟合还不太明白。

代码练习

柯家航 https://juejin.cn/post/7019906459899002887
杜易凇 https://blog.csdn.net/David_Morgan/article/details/120807319
刘佳成 https://blog.csdn.net/m0_50999273/article/details/120816863
孙远宜 https://blog.csdn.net/qq_45779147/article/details/120811952

2021年人工神经网络第三次作业要求以及参考答案

简介：本文是2021年秋季学期人工神经网络课程中的第三次作业要求。相应的作业参考答案在每个题目后面所给定的连接中给出。>

关键词： 动态神经网络，人工神经网络，作业

§01 第一题

一、作业内容

1、题目内容

离散Hopfield网络，也被称为联想存储器，通过迭代方式可以增加网络恢复能力。请设计一个离散Hopfield网络，将右边八个字符点阵进行存储。并测试在不同噪声下恢复的情况。

▲ 图1.1.1 八个点阵字符

在 截取图片中的点阵模式 - 012345.9 通过Python程序将图片转换成对应0101编码字符了。

下面是字符“0,1,2,3,4,6，.，9”字符对应的10×12的01编码：

000000000000011110000011111100011100111001110011100111001110011100111001110011100111001110001111110000011110000000000000
000111100000011110000001111000000111100000011110000001111000000111100000011110000001111000000111100000011110000001111000
111111110011111111000000001100000000110000000011001111111100111111110011000000001100000000110000000011111111001111111100
001111110000111111100000000110000000011000000001100000111100000011110000000001100000000110000000011000111111100011111100
011000011001100001100110000110011000011001100001100111111110011111111000000001100000000110000000011000000001100000000110
111111000011111100001100000000110000000011000000001111110000111111000011001100001100110000110011000011111100001111110000
111110000011111000001111100000111110000011111000001111100000000000000000000000000000000000000000000000000000000000000000
000011111100001111110000110011000011001100001100110000111111000011111100000000110000000011000000001100001111110000111111

2、题目要求

1. 通过外积方法建立DHNN网络权系数，并验证上述存储的字符都是DHNN的吸引子。

2. 测试在原来图片中增加10%，20% 的噪声的情况下，也就是随机选择其中一定比例像素值将其从原来的0修改为1，从1修改0，测试信息恢复情况；

3. 对于2，6，两个字符，测试在多大噪声情况下，这两个字符就不可以完全恢复了。

4. 观察在无法恢复的情况下出现的“伪吸引子”的情况。

§02 第二题

一、作业内容

利用遗传算法可以训练神经网络的权系数。特别是神经网络用于复杂对象控制的情况下，无法给出神经网络准确的期望输出，只能给出整个系统性能的评价时，可以使用遗传算法完成网络训练。

▲ 图2.1.1 异或网络及其传递函数要求

§03 第三题

一、作业要求

1、题目内容

根据MATLAB中的动态（时序）网络工具包，建立动态网络并对MATLAB中内嵌的一组实验数据进行训练。

在MATLAB中输入ntstool命令可以打开时序神经网络交互式建模界面。

▲ 图3.1.1 Matlabvs 中动态网络工具包

MATLAB中建立非线性自回归神经网络相关命令：

[X,T] = simplenarx_dataset; 
net = narxnet(1:2,1:2,10); 
[Xs,Xi,Ai,Ts] = preparets(net,X,,T); 
net = train(net,Xs,Ts,Xi,Ai); 
view(net) 
Y = net(Xs,Xi,Ai) 
plotresponse(Ts,Y)