AI相关 TensorFlow -卷积神经网络 踩坑日记之一

Posted 鬼柒

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了AI相关 TensorFlow -卷积神经网络 踩坑日记之一相关的知识,希望对你有一定的参考价值。

 上次写完粗浅的BP算法 介绍

本来应该继续把 卷积神经网络算法写一下的

但是最近一直在踩 TensorFlow的坑。所以就先跳过算法介绍直接来应用场景,原谅我吧。

 

TensorFlow 介绍

TF是google开源出来的人工智能库,由python语言写的

官网地址:http://www.tensorflow.org/   请用科学上网访问

中文地址:http://www.tensorfly.cn/ 

当然还有其他AI库,不过大多数都是由python 写的

.net 的AI库叫 Accord.net (因为我本职是.net的,so……)有兴趣的同学可以去看看,有很多机器学习的工具类,不过可惜当时我在研究的时候只有BP算法,还没有卷积算法的相关。

写这篇博文的时候,听说微软又开放了一个AI库,但是tensorflow比较早。所以还是继续搞tensorFlow

TensorFlow 在支持GPU 并行运算上做的挺多。这个库的入手程度相对其他AI库稍容易点。而且有很多教程代码,包括卷积,对抗网络,循环网络算法。

声明一下踩坑日志系列主要是针对卷积。

阿尔法狗的核心部分就是用的TensorFlow,真佩服google说开源就开源。

好了,废话不说,开始

 

安装方法推荐

因为我用的是windows机

所以我推荐的安装环境是 python 3.5.2  +PyCharm

这篇博文写时,最新的python是3.6  

尝试过安装3.6跟tensorFlow有不兼容问题,后来换了3.5.2 就可以了。

我安装的版本是tensorFlow1.1

不排除之后的版本已经修复这个问题。

tensorFlow1.2已经修复此问题

 

我推荐的安装方法超简单,但是网上有很多非常复杂的安装,在此踩一下。

十几个字搞定:

安装好python 之后设置好环境变量,然后安装PyCharm 打开=》setting =》project Interpreter 选择刚才安装好的3.5.2 

点下面的绿色+ 号 搜索 tensorFolw ,install package! 完成。

 

 

教程代码介绍

关于教程部分我建议先看一下极客学院的翻译教程文档。

传送门在此 http://wiki.jikexueyuan.com/project/tensorflow-zh/tutorials/overview.html

另外下载一下 github上的源码

https://github.com/tensorflow/tensorflow

 

最简单的教程是 

MNIST

这个教程相关内容在上面的极客学院的文档有详细的介绍,这里我摘取一点

 

 

官网例子上有一个坑,因为训练数据会从外网链接上下载,我刚入门那个时候这个链接是404。所以只能另外找这个包,现在这个问题虽然已经修复了,但是我担心那个网站也不是很靠谱。有需要的可以留下邮箱,不多人的话我直接发给你们。

这里我讲一下tensorFlow几个比较晦涩的概念,请结合那个教程一起看

张量 tensor :张量是TF最基本的元素,基本上所有的接口都是需要张量作为输入。

张量其实是对基本类型的一层包装,就是说tensor可以包装是int string array 各种类型。最重要的用途是用来描述多维数组

比如 这个方法生成的tensor 

tf.zeros([100,100]) 就是代表正式运行的时候会生成一个二维数组,第一维有100个索引,每个里面有100个0  
tf.random_normal([784, 200], stddev=0.35) 代表随机生成一个二维数组 ,784是一维,每个里面有200个元素。总共就是784*100个随机数。 sttddev是这个正态分布的偏差值,我觉得可以理解为平均的差值。用来调整数值分布的密度。

生成一个tensor的方式有很多,也可以用

tf.constant() 直接输入常量

这里大家肯定已经很奇怪了,数组就数组,string 就string,干嘛还要包装起来成了tensor

其实这个tensor除了常量tensor之外,其他比方说随机数组,在调用的时候里面都没有值的,只是声明说要生成这么一堆数据,但是实际上要等到 session.run 的时候数据才会生成。

所以其实tensorFlow 编程就是用这些方法声明要构建一个怎么样的算法,这个过程叫做构建图。然后再N次的session.run 这个算法来训练。所以调试的时候很麻烦的地方是,常常是构建图的时候没问题,但是这个算法图正式跑的时候各种出错,但是很难定位是由于哪个数据进行到什么地方出错的。幸好有 tfdbg的模块可以调试,我下面会讲一下在tfdbg上踩的坑。

 

checkpoint :相当于保存点,就是用来训练到一半的时候保存当时所有张量的值,然后下次可以通过一个saver的鬼东西读取checkpoint的所有环境,继续训练。

这个非常有用,因为数据量特大的时候可能要跑好几天,这样就可以分段进行的,也不怕中途死机。(别问我为啥会死机,说多了都是泪)

 

MNSIT 这个教程代码是比较简易的卷积算法,训练集很小。

稍大一点的教程是:cifar10 

cifar10 的算法比较全面一点

这是这个算法过程的简要描述

 

由2层 (卷积层+最大池化+归一层)+2层全连接层。不知道全连接层是什么东西的,请参考我上一篇关于BP算法,全连接层就是BP算法的典型结构。
卷积层我这里简单说一下,就是由一个k*k 的数据矩阵(卷积核),去跟图像做卷积运算。卷积过程参考下图

 
这个过程的作用主要是提取图像特征,不同的卷积核对图像的处理效果是不同的。
比如模糊效果,锐化效果,黑白效果,轮廓效果。都是可以直接设定不同卷积核来达到。
卷积这个词是指这个过程中执行的实际数学过程,不过这个过程在图像领域可以称之为“提取特征”或者叫“滤镜”大家更能明白一点,就是因为不同值的卷积核代表不同的特征提取器。

上面还提到一个名词叫“池化”就是降维,提取特征出来的图片数据量非常大,池化效果比如3*3范围内取一个最大值。那么原本90*90的图片就变成 30*30了。
这就是最大池化。Maxpool
归一化的算法也挺多,但是通俗一点讲,比方说做完卷积之后数据可能是这样 [255,244,266,7777,433] 太大了不好计算,也增加计算压力。归一化一种最简单的办法就是 取个最大值,对每个数做一次 除法

[255/7777,244/7777,266/7777,7777/7777,433/7777]

 这样得出来的值就都在 0-1 之间了。这就是传说中归“一”化。

卷积层+最大池化+归一层最终得出一张图片的各种特征数组,然后传给全链接层,根据误差值调整网络里的所有参数,最终达到跟真实值一致。然后跑一下测试集评估结果。
卷积我这里就不细说了。
(我后来写的算法综述中有介绍CNN卷积神经网络的一些内容,补充性的看一下吧 传送门:点我点我
 

cifar10+imagenet 改代码

 

当然cifar10 还是不能拿来用的。毕竟是教程代码

那么现在如果要投入实用,其实有2个问题要解决

1,扩大训练集

2,因为评估代码用的一打图片打包成一个.bin 文件 所以得改成接收1张jpg图片然后输出结果。

第一个问题

先下载imagenet 训练集 ILSVRC2012

这个朋友有地址 http://www.cnblogs.com/zjutzz/p/6083201.html

1000种分类,每一种分类有1000张图片 就是一百万张图片 压缩包140G。下载大半天,解压又是大半天。推荐用7z解压。神速。

但是没有中文分类的名字

所以还得看这里 中文对照表 http://blog.csdn.net/u010165147/article/details/72848497

下载好之后再说一个坑。里面有部分图片是出错格式的。大概有几百张吧。其实量也很小。如果你们找到没问题数据包的就不要我这个了。

不过因为代码读取的时候会出错,所以可能训练到几十万步的时候突然来那么一下,前功尽弃,还很难锁定是哪张出错了。

后来我疯了,因为可以看到出错图片的字节数,所以根据字节数查看文件,然后删了它,然后再跑几十万步之后,又出错,又删了它。

 

 但是几百张图可能出错。- -!哈哈哈哈哈(此处苦笑)。。让我死吧。

然后我就用tfdbg 或者 tensorbroad 来查出那些出错的图片路径。但是……我把图片路径装到一个tf队列里,tfdbg不能显示队列内容。F!

tensorbroad 开启后一直显示没找到监控数据,然而数据文件一直存在的。F!(这个问题在下文有找到原因)

找了很多办法,花了很多时间之后宣告放弃。另觅良方。

干了一阵子傻事之后,我突然受到上天的启发,感觉真神上身。“为啥我不用try catch呢!”

因为这个方法在第一天的时候被我否定了,因为读图的方法

 decode_jpeg 一直是这里报错,但是我直接try catch 这一段代码是无效的。因为正如我上面说的,这里只是构建图,构建了想要解码图片的算法而已,并没有真正解码,所以图片格式错误不会被catch到。

但是。。。。。。

我可以在session.run 的时候try catch啊!!!!

我可以在session.run 的时候try catch啊!!!!

我可以在session.run 的时候try catch啊!!!!

结果绕了一大圈,还是最开始的办法最靠谱。“师傅,把那块砖头往我这里砸,对,就是这里,脑门上,用力”。 

(结果是try catch也不太行,还是会有一些错误导致session报错,然后程序停止。

最后的办法是用一个图片批量处理工具,把所有图过一遍,去掉那些不可读的图片。)

 

OK,前戏完结。

cifar10 的详细源码解析这里就不讲了,大家自行搜索。

大致讲一下我对cifar10的修改,用来装载这100万张图片

首先

cifar10_input.py 代码里
distorted_inputs 方法主要是用来加载

 

这六个bin文件

每个文件里是一堆图片跟标签的打包。

再看

read_cifar10()方法里

FixedLength 读取器会根据固定长度的一段段的读取文件。所以这个bin文件里面一张图的长度就是 32*32*3(RGB3个通道的意思)+label的长度。

现在imagenet解压出来的格式是

这里明显不同了,怎么办?

不干了!删代码!卸载系统!

说笑了,默默的打开IDE。

还是 

cifar10_input.py文件
主要改这个方法

这个方法主要是从bin文件里读取了固定长度的,然后把label切出来放到 result.label  把原本图片数据转换成3维数组tersor(reshape)。然后稍微把数组的维度转换一下。就是最后  transpone 改为了[1,2,0] 就是原本depth*height*width 改为 height*width*depth*depth这里是指颜色通道,红绿蓝3种。

 

 

这里我换成
WholeFileReader 读取整个文件。然后
resize_images 成32*32
因为label 是分类名称,也是图片所在文件夹的名称,所以我在外面把图片文件夹名称都丢到一个label的string队列里,然后里面做出队 depuqeue。

核心部分就完了。
剩下一个问题就是读取单张图片然后跑一下评估代码
cifar10_eval.py
得出结果。然后就可以投入实用了。

cifar10_eval.py代码还需要改一下

新增这个方法,图片必须改成32*32大小的,这个可以用其他自己熟悉的代码处理,把图片读取成数组,然后按照bin文件的格式打包成一个。剩下就是按照eval原有的代码,只改一下读取bin文件的路径就可以。

最后run之后把 

predictions输出就可以了
这里就能拿到label了,然后根据上面的中文对照表得出分类名称。大功告成。
然而。。。。。。
这篇文章叫做踩坑日志,所以最大的坑在最后。
不知道为啥,训练了100W步之后每次去测试跑结果,都是

有毒啊!!!

未完待续。

国际惯例 原文地址http://www.cnblogs.com/7rhythm/p/7091624.html

 

转载请注明出处。PS:文中代码都是用图片,因为只是摘取部分核心代码,并不能直接运行,所以诸君不用复制去调试了,理解要紧。

传送门:踩坑日记之二

 

 

 




 

以上是关于AI相关 TensorFlow -卷积神经网络 踩坑日记之一的主要内容,如果未能解决你的问题,请参考以下文章

2020职场AI技能排行榜:TensorFlow热度飙升,Python最火,市场部也在学

tensorflow 1.8, ubuntu 16.04, cuda 9.0, nvidia-390,安装踩坑指南。

重磅变化!谷歌正式发布移动端深度学习框架TensorFlow Lite,移动开发迎来重大变革

AI常用框架和工具丨9. 深度学习框架TensorFlow

金山 WPS:基于 TensorFlow 的 AI 移动办公

AI mac安装TensorFlow