Tensorflow目标检测实战实例剖析单条数据tfrecord的生成与解析

Posted 2022-11-12 海里的鱼2022

1. 开始准备数据集之前，阅读官方文档永远都是最重要的参考资料

......./models/research/object_detection/g3doc/using_your_own_dataset.md

 2. 理解tfrecord数据格式

 

参考博客

tensorflow数据格式tfrecord的原理及用法_longwilll的博客-CSDN博客_tfrecord格式

 tfrecord是谷歌专门为tensorflow设计的一种数据格式，tfrecord是一种二进制文件，不仅可以实现对数据的压缩存储，同时也有专门的API可以快速的读取其中存储的内容。一个tfrecord文件内部由很多tf.train.Example组成，这些Example是基于数据压缩编码标准Protobuf进行实现的。每一个Example中包含了一系列的tf.train.Feature属性，每一个feature是一个key-value键值对，其格式如下图所示。

 为什么要用呢 ？

tensorflow可以支持多种数据格式，例如可以直接读取图片、视频、文本等数据。在数据集较小时，我们可以把数据全部加在到内存，以便减小数据IO带来的延迟。但当数据量很大时，就只能放在硬盘上一点点读取，如此数据IO会导致整体的速度变慢，同时数据的移