如何在 PYTorch 中定义数据加载器

Posted

技术标签:

【中文标题】如何在 PYTorch 中定义数据加载器【英文标题】:How to define data loader in PYTorch 【发布时间】:2021-12-29 16:34:16 【问题描述】:

我在张量流中尝试了数据加载器,但是如何在 PYtorch 中定义数据加载器

定义数据加载器。

train_loader = tf.data.Dataset.from_tensor_slices((x_train, y_train))
validation_loader = tf.data.Dataset.from_tensor_slices((x_val, y_val))

请有人帮助我

【问题讨论】:

【参考方案1】:

您已经生成了一个数据集,这是创建数据加载器的第一步:

batch_size = 4
train_dataset = tf.data.Dataset.from_tensor_slices((x_train, y_train))
validation_dataset = tf.data.Dataset.from_tensor_slices((x_val, y_val))
train_loader = torch.utils.data.DataLoader(train_dataset, batch_size=batch_size, shuffle=True, num_workers=4, pin_memory=True)
validation_loader = torch.utils.data.DataLoader(validation_dataset, batch_size=batch_size, shuffle=True, num_workers=4, pin_memory=True)

for x,y in train_loader:
    print(x,y)

【讨论】:

以上是关于如何在 PYTorch 中定义数据加载器的主要内容,如果未能解决你的问题,请参考以下文章

如何使用pytorch同时迭代两个数据加载器?

PyTorch学习笔记 3.数据集和数据加载器

PyTorch学习笔记 3.数据集和数据加载器

如何使用pytorch同时迭代两个数据加载器?

如何从 pytorch 数据加载器中获取批迭代的总数?

如何将 numpy 数组列表加载到 pytorch 数据集加载器?