[神经网络与深度学习]使用神经网络识别手写数字

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了[神经网络与深度学习]使用神经网络识别手写数字相关的知识,希望对你有一定的参考价值。

1.1 感知器

 技术分享

 

感知器的输出为:

 技术分享

wj为权重,表示相应输入对输出的重要性;

threshold为阈值,决定神经元的输出为0或1。

也可用下式表示:

技术分享

 

其中b=-threshold,称为感知器的偏置。

通过学习算法,能够自动调整人工神经元的权重和偏置。

1.2 S型神经元

技术分享 

感知器模型中,权重或偏置的微小变化可能导致输出是0和1的不同,使得调试权重或偏置的工作变得困难。使用S型神经元可以改进这种情况。技术分享

S型神经元的输出为:

 技术分享

上面函数形状如下图:

技术分享

Z为很大的正数时,输出为1;Z为很大的负数时,输出为0。

当权重和偏置发生微小的变化时,输出的变化是:

技术分享

Δoutput 是一个反映权重和偏置变化的线性函数。这一线性使得选择权重和偏置的微小变化来达到输出的微小变化的运算变得容易。

1.3 神经网络的结构

技术分享

   神经网络一般分为输入层,隐藏层和输出层。需要注意两点:1.有些神经网络包含着多个隐藏层;2.输出层的输出神经元可以为1个或多个。例如手写数字识别,它的输出可以为“0”到“9”,一共10个输出神经元

1.4 梯度下降法

      当设计好一个神经网络的架构时,它的权重和偏置是未知的。需要用梯度下降法去寻找这些权重w和偏置b的值。

      训练集中,输入为x,输出为y(x),定义一个代价函数:

 技术分享

      N是训练输入数据的个数,a表示输入为x时的输出,由x,w和b决定。C称为二次代价函数,或均方误差或MSE。如果a的值约等于y(x)(当前输出等于目标输出),则说明网络的权重和偏置设计符合要求。

      因此,我们的目标是使C(w,b)约等于0,并求出相应的权重和偏置。

 技术分享

 

 假设C是一个只有两个变量v1和v2的函数,我们的目标是将小球移动到最低点。上图中,当球体在v1和v2分别移动很小的量时,C的变化为:

  技术分享

 定义v的变化向量为:技术分享,梯度向量为:技术分享

 此时,我们选择v的变化量为:   技术分享。所以C的变化量可以表示为:技术分享

 则C的变化量为一个恒小于0的值,可以使得C一直减小,从而找到C的最小值。(为一个很小的正数,称为学习速率)   

   技术分享

 此时,球体的位置表示为:

 技术分享

总结一下,梯度下降算法的工作方式就是重复计算梯度?C,然后沿着相反的方向移动,沿着山谷“滚落”。

1.5 神经网络中的梯度下降法

   在神经网络中使用梯度下降法,主要的目标是寻找能够使下列方程的代价取得最小值的权重wk和偏置bl。

 技术分享

更新规则为:

技术分享

因为每一次更新总需要利用到所有的训练样本,为加快训练时间,可使用随机梯度下降法,主要的思想就是随机选取小量训练样本来计算梯度变量。

算法:

Step1.随机选择m个训练样本技术分享,称为小批量数据。

Step2.假设这m个训练样本的梯度下降量等于整个训练样本的梯度下降量。

 技术分享

Step3.使用这些数据更新神经网络的权重和偏置。

 技术分享

Step4.再挑选另一随机选定的小批量数据去训练。直到用完所有的训练样本,称为一个训练迭代期。

1.6 手写数字识别的实现

技术分享

  首先,将一个手写数字图像分成一个m×n个部分。例如将图像分成28×28个区域,则输出层包含了784(28×28)个输入神经元,其神经网络的架构如图。

 技术分享

   对于输入神经元,当黑色部分占这个区域超过50%时,则这个神经元的值为1,否则为0。

   对于输出神经元,一共有10个。当第一个神经元被激活,它的输出为1时,即识别这个数字为0。

 

以上是关于[神经网络与深度学习]使用神经网络识别手写数字的主要内容,如果未能解决你的问题,请参考以下文章

通过深度学习神经网络,基于MNIST实现手写数字识别

深度学习入门实战----利用神经网络识别自己的手写数字

利用手写数字识别项目详细描述BP深度神经网络的权重学习

深度学习100例-卷积神经网络(CNN)实现mnist手写数字识别 | 第1天

深度学习面试题12:LeNet(手写数字识别)

手把手写深度学习:用最简单的神经网络多层感知机识别数字