零基础使用Tensorflow实现神经网络

Posted 2020-11-30 cation

一、序言

　　前面已经逐步从单神经元慢慢“爬”到了神经网络并把常见的优化都逐个解析了，再往前走就是一些实际应用问题，所以在开始实际应用之前还得把“框架”翻出来，因为后面要做的工作需要我们将精力集中在业务而不是网络本身，所以使用框架可以减少非常多的工作量，有了前面自己实现神经网络的经验，现在理解框架的一些设置也比较容易了。本篇我们就使用比较常见的Tensorflow来重置一下前面的工作。

　　备注一下Tensorflow的安装：

　　1）安装python3.6，高版本不支持

　　2）pip install tensorflow即可

二、softmax

　　在开始前需要先说下这里使用的一个新的技术“softmax”，前面我们解决的问题是“从一堆图片里识别出数字是否是9”，这里使用softmax我们可以搞定更加高深一点的问题，比如：

　　“识别出图片中的数字是几”

　　这就厉害了，前面我们只能识别是不是，即”二分类“，这里借助softmax我们可以识别图片是数字几的概率，即”多分类“。

　　从技术上来说其实变化不大，神经网络整体结构不变，但是还记得我们之前神经网络中使用的”激活函数“不？一般最后一层使用sigmoid，意思是将输出转为0-1之间的区间值，表示为”是数字9“的概率是多少。这里使用softmax替代sigmoid，此外输出也不是一个数，而是10个数，比如：

　　[0.1, 0.2, 0.3, 0.7, 0.3, 0.1, 0.2, 0.3, 0.1, 0.2]

　　它的含义如下：

　　0的概率：10%

　　1的概率：20%

　　3的概率：30%

　　4的概率：70%

　　...

　　相应的输入的label自然也是十个数，比如：

　　[0, 0, 0, 0, 1, 0, 0, 0, 0, 0]

　　它表示我们输入的图片是数字”4“，此种表示方式称为"one_hot_label"。此种输入与输出形式就是"多分类"的基础，此外我们使用的mnist数据集可以直接将label数据转为one hot形式，只需要"one_hot_label=True"。

　　除了输入输出形式不一样，softmax的传播函数和反向传播肯定与sigmoid不一样了，不过借助Tensorflow强大的功能这些我们都不需要操心啦。下面我们就逐步来实现一个基于Tensorflow的神经网络。

三、创建占位符placeholder

 

 　　其实这里的输入x,y代表的分别是输入图片的向量大小784和label的向量大小10。tf是tensorflow的实体，这里tf.placeholder其实就是定义了两个空的数组：

　　(784, None)和(10, None)

　　placeholder得到的一维向量在后面的作用是"占位"，占位的意思是在tensorflow构建神经网络时先把位置占好，真正运行时就按这个占位的样子往里面扔数据，比如X是784，输入的img也不管你啥形状了，反正就按784将输入截成一段一段的。

四、初始化参数w、b

 

 　　整体上来说与前面初始化参数差不多，变化的除了使用tf来产生随机数，还将wGroup和bGroup合并为parameters（tf框架只给输入一个参数名）。

五、传播函数

 

 　　这里tf.matmul()就是实现矩阵w与IN的乘积，再通过tf.add()实现加b。但这里的"传播函数"并没有真的做传播运算，它只是按神经网络的结构将各种运算”安排“好，运算到最后一层没有使用激活函数来计算结果，而是直接返回A。剩下的运算放到了”损失函数“中。

六、损失函数

 

 　　这里的tf.transpose()只是一个转置操作，之所以不用A.T这种方式，其实可以想到，此处的A并不是一个矩阵，它是一长串计算的结果，只有当神经网络运行起来了A才会是一个矩阵。所以这里的A其实是一系列“运算”的合集，使用tf.transpose()就是叠加了一个转置运算。

　　tf.reduce_mean()在这里就是计算"损失"的，不过暂时也不是真的计算了，只是将这个运算"安排"好了，最终结果返回为costFun

七、完整实现

　　等等，还没有说"反向传播"呢？不要慌，这里慢慢来。

　　在model中，placeholder、initialize_parameters、forward、costCAL都是前面讲过的，只是"构建"神经网络计算的过程。

　　optimizer = tf.train.AdamOptimizer(learning_rate=learning_rate).minimize(costFun)

　　这一句就是构建反向传播，其中AdamOptimizer表明使用Adam优化算法，minimize指明使用的损失函数，其实总结起来就是我们的反向传播需要使用Adam优化算法来使costFun构建的损失函数趋向于最小。

　　_ , cost = sess.run([optimizer, costFun], feed_dict={X: train_img, Y: train_label})

　　这一句就是真的运行网络了，feed_dict就是按前面"占位符"的形状将train_img和train_label输入到网络中，[optimizer, costFun]是指明网络的“向前传播+反向传播”和损失计算。

　　parameters = sess.run(parameters)

　　只是将优化后的参数按原样输出回来。

 八、总结

　　本节只是简单将之前实现过的神经网络用Tensorflow再实现了一次，其次还引入了softmax将二分类扩展为多分类。Tensorflow是后面研究的基础，可能再开一章单独讲一讲。

　　本节完整实现代码请关注公众号“零基础爱学习”回复AI14获取。