②本地图片转TFRecord及opencv安装

Posted 2022-10-30 lc__________

之前我们对图片数据的读取是通过tensorflow的mnist类直接下载和加载mnist数据集。但是更多的时候，我们想通过本地的图片进行训练。

import input_data
mnist = input_data.read_data_sets('MNIST_data', one_hot=True)

但是如果每次对图片的读取都从磁盘上进行的话，将严重影响程序的效率。 因此想先将本地图片转化成通用、高效的数据读取方法，也就是tensorflow官方推荐的标准格式：tfrecord。 tfrecord数据文件是一种将图像数据和标签统一存储的二进制文件，能更好的利用内存，在tensorflow中快速的复制，移动，读取，存储等。

def _int64_feature(value):
  return tf.train.Feature(int64_list=tf.train.Int64List(value=[value]))

def _bytes_feature(value):
  return tf.train.Feature(bytes_list=tf.train.BytesList(value=[value]))

dirPath = "F:/byxStudy/img/mnist0-9/"
sess = tf.InteractiveSession()
init = tf.global_variables_initializer()
sess.run(init)
#保存tfrecords
tfrecord_filename = 'F:\\\\byxStudy\\\\img\\\\mnist0_9_train.tfrecords'
fileSubDirList = os.listdir(dirPath)
with tf.python_io.TFRecordWriter(tfrecord_filename) as writer:
    # 遍历子文件夹
    for fileSubDir in fileSubDirList:
        fileSubDirSubDir = os.listdir(dirPath + fileSubDir + "/")
        for filePath in fileSubDirSubDir:
            image_value = tf.read_file(dirPath + fileSubDir + "/" + filePath)
            img = tf.image.decode_jpeg(image_value, 1)
            img = tf.image.resize_images(img, (28, 28), method=0)
            pic2 = img.eval(session=sess)
            image_raw = pic2.tostring()
            example = tf.train.Example(
                features=tf.train.Features(
                    feature=
                        'height': _int64_feature(pic2.shape[0]),
                        'width': _int64_feature(pic2.shape[1]),
                        'depth': _int64_feature(pic2.shape[2]),
                        'label': _int64_feature(int(fileSubDir)),
                        'image_raw': _bytes_feature(image_raw)
                    ))
            writer.write(example.SerializeToString())

但是实际跑起来后发现程序运行的很慢。 通过调查得知，tensorflow运行的时候不要创建任何新的计算节点。 这样每一次迭代都会在graph里增加新的节点，导致memory leak，程序越来越慢，最后强行退出。

因此我想通过opencv对图像进行简单的预处理。opencv的安装过程很艰辛，我尝试了各种网上的办法，最终才得以实现，以下是我的尝试： ①通过pycharm直接安装cv2及opencv-python ②通过opencv官网 https://www.opencv.org/releases.html 下载安装opencv 并将..\\opencv\\build\\python\\2.7\\x64\\cv2.pyd文件复制粘贴到python安装目录..Lib\\site-packages下 ③pip install opencv_python-3.4.0.12-cp36-none-win_amd64.whl ④安装VC++运行时环境，Visual C++ 2015 redistribution ⑤下载python-3.6.3-embed-amd64，并将python3.dll拷贝到python.exe目录下 ⑥配置python环境变量 安装 opencv-contrib-python。 通过pip完成了安装！pip install opencv-contrib-python

import cv2
import os
import tensorflow as tf

def _int64_feature(value):
  return tf.train.Feature(int64_list=tf.train.Int64List(value=[value]))

def _bytes_feature(value):
  return tf.train.Feature(bytes_list=tf.train.BytesList(value=[value]))

dir_path = "F:/byxStudy/img/mnist0-9/"
tfrecord_filename = 'F:\\\\byxStudy\\\\img\\\\mnist0_9_train.tfrecords'
dir_list = os.listdir(dir_path)
with tf.python_io.TFRecordWriter(tfrecord_filename) as writer:
    # 遍历子文件夹
    for sub_dir in dir_list:
        sub_dir_list = os.listdir(dir_path + sub_dir + "/")
        for filePath in sub_dir_list:
            # 单通道的方式读取图片
            # 中文目录无法加载图片
            img = cv2.imread(dir_path + sub_dir + '/' + filePath, 0)
            img = cv2.resize(img, (28, 28), interpolation=cv2.INTER_CUBIC)
            image_raw = img.tostring()
            example = tf.train.Example(
                features=tf.train.Features(
                    feature=
                        'height': _int64_feature(img.shape[0]),
                        'width': _int64_feature(img.shape[1]),
                        'depth': _int64_feature(1),
                        'label': _int64_feature(int(sub_dir)),
                        'image_raw': _bytes_feature(image_raw)
                    ))
            writer.write(example.SerializeToString())