002.tf.data.DataSet

Posted 2022-10-17 TommyLiuZ

002.tf.data.DataSet

1.简介

• 功能：主要用于数据读取，构建输入数据
• DatasetAPI类图
  
  重点关注：DataSet和Iterator
  
  创建一个一个DataSet，里面有5个元素
  使用Iterater将DataSet中的元素取出
  循环形式
  
  显式创建iterator
  

2.创建

• 方法：from_tensor_slice()
• 参数：np.ndarray, tuple, dict等
  

3.转换

• 含义：一个dataset通过transformation变成另一个dataset
• 常用的transformation有：
  • map：参数为一个函数，DataSet中每个元素都会被这个函数处理，并将返回值作为新的DataSet
  • batch:：批次，深度学习常用概念
  • shuffle：根据随机种子seed打乱DataSet内的元素
  • repeat：将整个序列重复多次，主要用来处理深度学习中的epoch, 假设原先的数据是一个epoch,使用repeat之后就变成了5个epoch