PyTorch之torch.utils.data.DataLoader解读

Posted 2020-11-20 sbj123456789

torch.utils.data.DataLoader 参数介绍：

1、dataset，这个就是PyTorch已有的数据读取接口（比如torchvision.datasets.ImageFolder）或者自定义的数据接口的输出，该输出要么是torch.utils.data.Dataset类的对象，要么是继承自torch.utils.data.Dataset类的自定义类的对象。

2、batch_size，根据具体情况设置即可。

3、shuffle，一般在训练数据中会采用。

4、collate_fn，是用来处理不同情况下的输入dataset的封装，一般采用默认即可，除非你自定义的数据读取输出非常少见。

5、batch_sampler，从注释可以看出，其和batch_size、shuffle等参数是互斥的，一般采用默认。

6、sampler，从代码可以看出，其和shuffle是互斥的，一般默认即可。

7、num_workers，从注释可以看出这个参数必须大于等于0，0的话表示数据导入在主进程中进行，其他大于0的数表示通过多个进程来导入数据，可以加快数据导入速度。

8、pin_memory，注释写得很清楚了： pin_memory (bool, optional): If True, the data loader will copy tensors into CUDA pinned memory before returning them. 也就是一个数据拷贝的问题。

9、timeout，是用来设置数据读取的超时时间的，但超过这个时间还没读取到数据的话就会报错。 

例如：

参考：

https://github.com/pytorch/pytorch/blob/master/torch/utils/data/dataloader.py

https://blog.csdn.net/u014380165/article/details/79058479