002.tf.data.DataSet

Posted TommyLiuZ

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了002.tf.data.DataSet相关的知识，希望对你有一定的参考价值。

002.tf.data.DataSet

1.简介

  • 功能：主要用于数据读取，构建输入数据
  • DatasetAPI类图
    在这里插入图片描述
    重点关注：DataSet和Iterator
    在这里插入图片描述
    创建一个一个DataSet，里面有5个元素
    使用Iterater将DataSet中的元素取出
    循环形式
    在这里插入图片描述
    显式创建iterator
    在这里插入图片描述

2.创建

  • 方法：from_tensor_slice()
  • 参数：np.ndarray, tuple, dict等
    在这里插入图片描述

3.转换

  • 含义：一个dataset通过transformation变成另一个dataset
  • 常用的transformation有：
    • map：参数为一个函数，DataSet中每个元素都会被这个函数处理，并将返回值作为新的DataSet
    • batch:：批次，深度学习常用概念
    • shuffle：根据随机种子seed打乱DataSet内的元素
    • repeat：将整个序列重复多次，主要用来处理深度学习中的epoch, 假设原先的数据是一个epoch,使用repeat之后就变成了5个epoch

以上是关于002.tf.data.DataSet的主要内容，如果未能解决你的问题，请参考以下文章