tensorflow二进制文件读取与tfrecords文件读取
Posted ywjfx
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了tensorflow二进制文件读取与tfrecords文件读取相关的知识，希望对你有一定的参考价值。
1、知识点
""" TFRecords介绍： TFRecords是Tensorflow设计的一种内置文件格式，是一种二进制文件，它能更好的利用内存， 更方便复制和移动，为了将二进制数据和标签(训练的类别标签)数据存储在同一个文件中 CIFAR-10批处理结果存入tfrecords流程: 1、构造存储器 a)TFRecord存储器API:tf.python_io.TFRecordWriter(path) 写入tfrecords文件 参数： path: TFRecords文件的路径 return：写文件 方法： write(record):向文件中写入一个字符串记录 record:字符串为一个序列化的Example,Example.SerializeToString() close():关闭文件写入器 2、构造每一个样本的Example协议块 a)tf.train.Example(features=None)写入tfrecords文件 features:tf.train.Features类型的特征实例 return：example格式协议块 b)tf.train.Features(feature=None)构建每个样本的信息键值对 feature:字典数据,key为要保存的名字， value为tf.train.Feature实例 return:Features类型 c)tf.train.Feature(**options) **options：例如 bytes_list=tf.train.BytesList(value=[Bytes]) int64_list=tf.train.Int64List(value=[Value]) 数据类型： tf.train.Int64List(value=[Value]) tf.train.BytesList(value=[Bytes]) tf.train.FloatList(value=[value]) 3、写入序列化的Example writer.write(example.SerializeToString()) 报错： 1、ValueError: Protocol message Feature has no "Bytes_list" field. 因为没有Bytes_list属性字段，只有bytes_list字段 读取tfrecords流程： 1、构建文件队列 file_queue = tf.train.string_input_producer([FLAGS.cifar_tfrecords]) 2、构造TFRecords阅读器 reader = tf.TFRecordReader() 3、解析Example，获取数据 a) tf.parse_single_example(serialized,features=None,name=None)解析TFRecords的example协议内存块 serialized：标量字符串Tensor，一个序列化的Example features：dict字典数据，键为读取的名字，值为FixedLenFeature return:一个键值对组成的字典，键为读取的名字 b)tf.FixedLenFeature(shape,dtype) 类型只能是float32,int64,string shape：输入数据的形状，一般不指定,为空列表 dtype：输入数据类型，与存储进文件的类型要一致 4、转换格式，bytes解码 image = tf.decode_raw(features["image"],tf.uint8) #固定图像大小，有利于批处理操作 image_reshape = tf.reshape(image,[self.height,self.width,self.channel]) label = tf.cast(features["label"],tf.int32) 5、批处理 image_batch , label_batch = tf.train.batch([image_reshape,label],batch_size=5,num_threads=1,capacity=20) 报错： 1、ValueError: Shape () must have rank at least 1 """
2、代码
# coding = utf-8 import tensorflow as tf import os FLAGS = tf.app.flags.FLAGS tf.app.flags.DEFINE_string("cifar_dir","./cifar10/", "文件的目录") tf.app.flags.DEFINE_string("cifar_tfrecords", "./tfrecords/cifar.tfrecords", "存进tfrecords的文件") class CifarRead(object): """ 完成读取二进制文件，写进tfrecords,读取tfrecords """ def __init__(self,file_list): self.file_list = file_list #图片属性 self.height = 32 self.width = 32 self.channel = 3 #二进制字节 self.label_bytes = 1 self.image_bytes = self.height*self.width*self.channel self.bytes = self.label_bytes + self.image_bytes def read_and_encode(self): """ 读取二进制文件，并进行解码操作 :return: """ #1、创建文件队列 file_quque = tf.train.string_input_producer(self.file_list) #2、创建阅读器，读取二进制文件 reader = tf.FixedLengthRecordReader(self.bytes) key, value = reader.read(file_quque)#key为文件名，value为文件内容 #3、解码操作 label_image = tf.decode_raw(value,tf.uint8) #分割图片和标签数据, tf.cast(),数据类型转换 tf.slice()tensor数据进行切片 label = tf.cast(tf.slice(label_image, [0], [self.label_bytes]), tf.int32) image = tf.slice(label_image,[self.label_bytes],[self.image_bytes]) #对图像进行形状改变 image_reshape = tf.reshape(image,[self.height,self.width,self.channel]) # 4、批处理操作 image_batch , label_batch = tf.train.batch([image_reshape,label],batch_size=5,num_threads=1,capacity=20) print(image_batch,label_batch) return image_batch,label_batch def write_ro_tfrecords(self,image_batch,label_batch): """ 将读取的二进制文件写入 tfrecords文件中 :param image_batch: 图像 (32,32,3) :param label_batch: 标签 :return: """ # 1、构造存储器 writer = tf.python_io.TFRecordWriter(FLAGS.cifar_tfrecords) #循环写入 for i in range(5): image = image_batch[i].eval().tostring() label = int(label_batch[i].eval()[0]) # 2、构造每一个样本的Example example = tf.train.Example(features=tf.train.Features(feature={ "image":tf.train.Feature(bytes_list = tf.train.BytesList(value = [image])) , "label":tf.train.Feature(int64_list = tf.train.Int64List(value = [label])) , })) # 3、写入序列化的Example writer.write(example.SerializeToString()) #关闭流 writer.close() return None def read_from_tfrecords(self): """ 从tfrecords文件读取数据 :return: """ #1、构建文件队列 file_queue = tf.train.string_input_producer([FLAGS.cifar_tfrecords]) #2、构造TFRecords阅读器 reader = tf.TFRecordReader() key , value = reader.read(file_queue) #3、解析Example features = tf.parse_single_example(value,features={ "image":tf.FixedLenFeature([],tf.string), "label":tf.FixedLenFeature([],tf.int64) }) #4、解码内容, 如果读取的内容格式是string需要解码， 如果是int64,float32不需要解码 image = tf.decode_raw(features["image"],tf.uint8) #固定图像大小，有利于批处理操作 image_reshape = tf.reshape(image,[self.height,self.width,self.channel]) label = tf.cast(features["label"],tf.int32) #5、批处理 image_batch , label_batch = tf.train.batch([image_reshape,label],batch_size=5,num_threads=1,capacity=20) return image_batch,label_batch if __name__ == ‘__main__‘: #################二进制文件读取############### # file_name = os.listdir(FLAGS.cifar_dir) # file_list = [os.path.join(FLAGS.cifar_dir, file) for file in file_name if file[-3:] == "bin"] # cf = CifarRead(file_list) # image_batch, label_batch = cf.read_and_encode() # with tf.Session() as sess: # # 创建协调器 # coord = tf.train.Coordinator() # # 开启线程 # threads = tf.train.start_queue_runners(sess, coord=coord) # # print(sess.run([image_batch, label_batch])) # # 回收线程 # coord.request_stop() # coord.join(threads) ############################################# #####二进制文件读取，并写入tfrecords文件###### # file_name = os.listdir(FLAGS.cifar_dir) # file_list = [os.path.join(FLAGS.cifar_dir, file) for file in file_name if file[-3:] == "bin"] # cf = CifarRead(file_list) # image_batch, label_batch = cf.read_and_encode() # with tf.Session() as sess: # # 创建协调器 # coord = tf.train.Coordinator() # # 开启线程 # threads = tf.train.start_queue_runners(sess, coord=coord) # #########保存文件到tfrecords########## # cf.write_ro_tfrecords(image_batch, label_batch) # #########保存文件到tfrecords########## # # print(sess.run([image_batch, label_batch])) # # 回收线程 # coord.request_stop() # coord.join(threads) ############################################## #############从tfrecords文件读取############### file_name = os.listdir(FLAGS.cifar_dir) file_list = [os.path.join(FLAGS.cifar_dir, file) for file in file_name if file[-3:] == "bin"] cf = CifarRead(file_list) image_batch, label_batch = cf.read_from_tfrecords() with tf.Session() as sess: # 创建协调器 coord = tf.train.Coordinator() # 开启线程 threads = tf.train.start_queue_runners(sess, coord=coord) print(sess.run([image_batch, label_batch])) # 回收线程 coord.request_stop() coord.join(threads) ##############################################
以上是关于tensorflow二进制文件读取与tfrecords文件读取的主要内容，如果未能解决你的问题，请参考以下文章
TensorFlow基础 —— 模型的保存读取与可视化方法总结