一篇学会Pytorch数据集下载

Posted 2022-11-29 Rgylin

文章目录

• 前言
• • 数据来源
  • transforms联用
• 总结

---

前言

数据集是我们在训练模型中经常用到的,那我们该如何下载并进行使用它呢

---

数据来源

打开pytorch官网

发现有很多:音频,视觉,文字之类的
以视觉为例打开torchvision

发现好多数据集已经为我们列出来了.COCO数据集等等

以第一个数据集为例,点开后发现其用法都在上面了,我们只需要看懂会用即可

代码如下（示例）：

## 下载数据

> 当我们选择好一个数据集时,(以CIFAR10为例),我们该如何下载使用呢.

导入相关的包,在pycharm中按ctrl p 会有提示

```python
import torchvision
from torchvision
trainset = torchvision.datasets.CIFAR10(root='./data',train=True,download=True)

• root是下载到的文件夹
• train 是否是训练数据, 否则就是测试数据
• download是否要进行下载

按照提示输入参数即可
其中transforms是图像所进行的操作

可以看到有很多操作的类,这里我们以ToTensor 来看按住ctrl 点进去即可看见源码

大概意思就是将一个PIL或者是numpy类型转换成 tensor数据类型

我们继续来看 数据对象

在pycharm console种可以看到对象的各个属性对应

而对应的索引值是一个图片和一个对应的索引

我们就可以用image对象接受并进行显示

import torchvision
from torchvision import transforms
import  torch.utils.tensorboard.summary
trainset = torchvision.datasets.CIFAR10(root='./data',train=True,download=True)
print(trainset.classes)
image,index = trainset[1]

image.show()
print(trainset.classes[index])

transforms联用

那我们接下来就用tansforms对这些数据集进行,操作

以Totensor为例

发现已经转成了tensor数据类型

那我们将其数据记录到tensorboard种,进行显示.

import torchvision
from torchvision import transforms
from torch.utils.tensorboard import SummaryWriter
write= SummaryWriter("rgylin_data")
daset_transform= transforms.Compose([transforms.ToTensor()])
trainset = torchvision.datasets.CIFAR10(root='./data',transform=daset_transform,train=True,download=True)
for i in range(15):
    img,index= trainset[i]
    write.add_image("rgylin_data",img,i)
    
write.close()

我们点金add_image看看源码,
发现只能是tensor数据类型,那正好了

import torchvision
from torchvision import transforms
from torch.utils.tensorboard import SummaryWriter
write= SummaryWriter("rgylin_data")
daset_transform= transforms.Compose([transforms.ToTensor()])
trainset = torchvision.datasets.CIFAR10(root='./data',transform=daset_transform,train=True,download=True)
for i in range(15):
    img,index= trainset[i]
    write.add_image("rgylin_data",img,i)

write.close()

tensorboard显示一下,

控制台输入tensorboard --logdir=C:\\Users\\ASUS\\Desktop\\rgylin_data
就可以了
最终得到

总结

有很多生函数,利用控制台看变量,还有就是看函数的源码注释。官方都给的很详细