9神经网络
Posted jp-mao
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了9神经网络相关的知识,希望对你有一定的参考价值。
神经网络是一种模拟人脑的神经网络,期望能够实现类人的人工智能机器学习技术。
一、经典神经网络模型
这个模型包含三个层次的神经网络,红色是输入层(3个输入单元),绿色是输出层(2个单元),紫色是隐藏层(4个单元)
神经网络模型知识点:
- 输入层和输出层的节点数一般是固定的,隐藏层可以自由设定
- 神经网络结构图的拓扑与箭头代表预测过程数据的流向,和训练的数据流有一定的区别
- 结构图的关键不是神经元(图中圆圈),而是连接线(图中圆圈的连接线),每个连接线对应一个不同的权重(值称为权值),权重是训练得到
二、神经元模型
神经元包含输入、输出和计算功能的模型,下图包含3个输入、1个输出、以及二个计算功能的模型
连接是神经元中最重要的东西,每个连接上都有一个权重。
神经网络算法就是让权重值调整到最佳,以到达模型预测的效果最好。
使用a表示输入特征变量,w来表示权重值,一个连接的有向箭头表示:a经过连接加权变成了aw
对于多特征变量的神经元模型,如下图,其中:z = g(a1w1+a2w2+a3w3)为输出计算公式
在MP模型里,函数g是sgn函数:当输入大于0时输出为1,小于0是输出为0
把sum函数和sgn函数合并,神经元可以看作一个计算和存储单元,计算是神经元对输入进行计算,存储是神经元会暂存计算结果,并传递到下一层。
整个模型就是对函数:z = g(a1w1+a2w2+a3w3)结果的预测,通过已知的样本a1,a2,a3特征和对应的标签z1,z2,z3,得出最优的w1,w2,w3权重,最后预测出z标签值
三、单层神经网络
在MP模型的输入位置添加神经元节点,标志其为输入单元(负责传输数据,不计算),输出层的输出单元需要对前一层对输入进行计算。
有两个输出单元的模型,用wx,y来表达一个权值。下标中的x代表后一层神经元的序号,而y代表前一层神经元的序号(序号的顺序从上到下)。
分析图上两个公式,可以向量化:
输入特征变量:a = [a1 a2 a3]T(T代表转置矩阵),预测值:z = [z1 z2]T,权重矩阵W(2X3矩阵)
输出公式向量化表示: z = g(Wa) (神经网络前一层计算后一层的矩阵运算)
神经网络类似一个logistic回归,可以做分类任务。决策界限表示分类效果
四、两层神经网络模型
两层神经网络包含一个输入层、一个输出层和一个隐藏层,隐藏和输出层都是计算层。
ax(y)代表第y层的第x个节点。z1,z2变成了a1(2),a2(2)。下图给出了a1(2),a2(2)的计算公式
使用矩阵来进行向量化,a1,a2,z是网络传输的向量数据,W1和W2是网络的矩阵参数
a2 = g(W1a1)
z = g(W2a2)
由此可见,使用矩阵来向量化不会受到节点的数量影响,因此神经网络大量使用矩阵运算来描述。
偏置节点:它本质上是一个只函数存储功能,切存储值永远为1的单元,除了输出层外,神经网络的每个层都含有一个偏置单元,跟线性回归模型和逻辑(logistic)回归模型相同。
偏置单元与后一层的所有节点都有连接,设参数为向量b,称为偏置
偏置节点没有输入,在考虑偏置后神经网络的矩阵运算:
a2 = g(W1a1 + b1)
z = g(W2a2 + b2)
g函数为sigmoid函数又称logistic函数、激活函数:g(x) = 1/(1+e-x),输入大于0时输出为1,小于0是输出为0。
理论证明,两层神经网络可以无限逼近任意连续函数
隐藏层的节点数设计
在设计一个神经网络是,输入层的节点数需要与特征的维度匹配,输出层的节点数也要与目标的维度匹配,而隐藏层的节点数,由设计者指定,但是节点数设置多少,却会影响模型的效果,如何决定这个自由层的节点数呢?目前业界没有完善的理论来指导这个决策。一般是根据经验来设置。较好的方法就是预先设定几个可选值,通过切换这几个值来看整个模型的预测效果,选择效果最好的值作为最终选择。这种方法又叫做Grid Search(网格搜索)
了解了两层神经网络的结构以后,我们就可以看懂其它类似的结构图。例如EasyPR字符识别网络架构(下图)。
EasyPR使用了字符的图像去进行字符文字的识别。输入是120维的向量。输出是要预测的文字类别,共有65类。根据实验,我们测试了一些隐藏层数目,发现当值为40时,整个网络在测试集上的效果较好,因此选择网络的最终结构就是120,40,65。
参考:
1、《机器学习》(吴恩达)
2、计算机的潜意识:https://www.cnblogs.com/subconscious/p/5058741.html
以上是关于9神经网络的主要内容,如果未能解决你的问题,请参考以下文章
Wolfram 图形图像处理类神经网络主流编辑器讲座(9/10号今天9点)