Windows Caffe 图像数据转化为Caffe可以运行的数据

Posted 2022-12-09 逗逗飞

在运行Caffe自带的两个例子的时候，我们的数据都来自互联网，是直接下载的二进制文件。

但我们大多数情况下使用的是原始的图片数据（如.jpg .png等），接下来研究如何将原始的图片数据转化为caffe可以运行的数据。

1、准备图片数据

caffe安装完成之后，在example/images文件下会有四张.jpg图片，cat.jpg, cat gray,jpg, cat_gray.jpg, fish-back.jpg

2、生成图片清单

我们写需要一个sh脚本，调用Linux命令生成图片的清单。Windows下如何运行shell脚本， 第一个实验有说。 编写脚本的原因是我们有大量的训练数据和测试数据，手写清单不大现实。 具体操作 在example/images文件夹下创建一个 create_filelist.sh 文件，文件内容如下：

# /usr/bin/env sh
DATA=D:/Caffe/Caffe_BVLC/examples/images
echo "Create train.txt..."
exec 2>>log.txt
rm -rf $DATA/train.txt
find $DATA -name *cat.jpg | cut -d '/' -f6 | sed "s/$/ 1/">>$DATA/train.txt
find $DATA -name *bike.jpg | cut -d '/' -f6 | sed "s/$/ 2/">>$DATA/tmp.txt
cat $DATA/tmp.txt>>$DATA/train.txt
rm -rf $DATA/tmp.txt
echo "Done.."

这里对脚本做下大致的解释 DATA=D:/Caffe/Caffe_BVLC/examples/images 图片所在位置
exec 2>>log.txt 将执行期间所遇到的错误写入log.txt文件夹下 rm -rf递归强制删除 find $DATA -name *cat.jpg | cut -d '/' -f6 | sed "s/$/ 1/">>$DATA/train.txt 在$DATA目录下，查找*cat.jpg文件，cut表示截取路径， -f6表示第六层目录下（根据自己的情况修改）。sed表示在每行后面加上标注。
cat $DATA/tmp.txt>>$DATA/train.txt 将temp.txt文件中的内容写到train.txt文件后面，相当于两个文件合并。
运行该文件，会生成一个train.txt的文件。

3、生成lmdb格式的文件

将图片数据转化为lmdb格式的文件需要使用caffe提供的convert_imageset文件 该文件所在目录： D:\\Caffe\\Caffe_BVLC\\Build\\x64\\Release
该文件的使用格式： convert_imageset [FLAGS] ROOTFOLDER/ LISTFILE DB_NAME 分析一下convert_imageset的四个参数

FLAGS

-gray: 是否以灰度图的方式打开图片。程序调用opencv库中的imread()函数来打开图片，默认为false
-shuffle: 是否随机打乱图片顺序。默认为false
-backend:需要转换成的db文件格式，可选为leveldb或lmdb,默认为lmdb
-resize_width/resize_height: 改变图片的大小。在运行中，要求所有图片的尺寸一致，因此需要改变图片大小。 程
序调用opencv库的resize（）函数来对图片放大缩小，默认为0，不改变
-check_size: 检查所有的数据是否有相同的尺寸。默认为false,不检查
-encoded: 是否将原图片编码放入最终的数据中，默认为false
-encode_type: 与前一个参数对应，将图片编码为哪一个格式：‘png','jpg'......
ROOTFOLDER

图片存放的路径

LISTFILE

文件清单

DB_NAME

最终生成的lmdb或leveldb所存放的路径

具体操作

在example/images文件夹下创建一个create_lmdb.sh 脚本，脚本内容如下：

DATA=D:/Caffe/Caffe_BVLC/examples/images
rm -rf $DATA/img_train_lmdb
D:/Caffe/Caffe_BVLC/Build/x64/Release/convert_imageset.exe --shuffle \\
--resize_height=256 --resize_width=256 \\
$DATA $DATA/train.txt $DATA/img_train_lmdb

执行该脚本，会在该目录下生成一个新的文件，如下图所示：

至此，将原始的图片数据转化为caffe能够执行的lmdb数据实验 完成。

如有疑问，欢迎一起探讨！