01pytorch加载数据+Tensorboard使用

Posted 2023-04-06 cocapop

链接：GitHub - AccumulateMore/CV

1. Pytorch加载数据

① Pytorch中加载数据需要Dataset、Dataloader。

• Dataset提供一种方式去获取每个数据及其对应的label，告诉我们总共有多少个数据。
• Dataloader为后面的网络提供不同的数据形式，它将一批一批数据进行一个打包。

2. 常用数据集两种形式

① 常用的第一种数据形式，文件夹的名称是它的label。

② 常用的第二种形式，lebel为文本格式，文本名称为图片名称，文本中的内容为对应的label。

 3. 路径直接加载数据

from PIL import Image

img_path = "Data/FirstTypeData/train/ants/0013035.jpg"        
img = Image.open(img_path)
img.show()

4. Dataset加载数据

from torch.utils.data import Dataset
from PIL import Image
import os

class MyData(Dataset):     
    def __init__(self,root_dir,label_dir):    # 该魔术方法当创建一个事例对象时，会自动调用该函数
        self.root_dir = root_dir # self.root_dir 相当于类中的全局变量
        self.label_dir = label_dir     
        self.path = os.path.join(self.root_dir,self.label_dir) # 字符串拼接，根据是Windows或Lixus系统情况进行拼接               
        self.img_path = os.listdir(self.path) # 获得路径下所有图片的地址
        
    def __getitem__(self,idx):
        img_name = self.img_path[idx]
        img_item_path = os.path.join(self.root_dir,self.label_dir,img_name)            
        img = Image.open(img_item_path)
        label = self.label_dir
        return img, label
    
    def __len__(self):
        return len(self.img_path)
    
root_dir = "Data/FirstTypeData/train"
ants_label_dir = "ants"
bees_label_dir = "bees"
ants_dataset = MyData(root_dir, ants_label_dir)
bees_dataset = MyData(root_dir, bees_label_dir)
print(len(ants_dataset))
print(len(bees_dataset))
train_dataset = ants_dataset + bees_dataset # train_dataset 就是两个数据集的集合了     
print(len(train_dataset))

img,label = train_dataset[200]
print("label：",label)
img.show()

--------------------------------------------------------
#124
#121
#245
#label： bees

5. Tensorboard用途

① Tensorboad 可以用来查看loss是否按照我们预想的变化，或者查看训练到某一步输出的图像是什么样。

pip install tensorboard

from torch.utils.tensorboard import SummaryWriter
help(SummaryWriter)

6. Tensorboard 写日志 

from torch.utils.tensorboard import SummaryWriter
writer = SummaryWriter("logs") # 创建一个logs文件夹，writer写的文件都在该文件夹下
#writer.add_image()
for i in range(100):
    writer.add_scalar("y=2x",2*i,i)
writer.close()

7. Tensorboard 读日志

① 在 Anaconda 终端里面，激活py3.6.3环境，再输入 tensorboard --logdir=C:\\Users\\wangy\\Desktop\\03CV\\logs 命令，将网址赋值浏览器的网址栏，回车，即可查看tensorboard显示日志情况。

② 为避免多人使用端口导致冲突，也可以在后面加上后缀，使得端口独立，tensorboard --logdir=C:\\Users\\wangy\\Desktop\\03CV\\logs --port=6008

③ 输入网址可得Tensorboard界面。

8. Tensorboard 读图片

 

from torch.utils.tensorboard import SummaryWriter
from PIL import Image
import numpy as np

img_path1 = "Data/FirstTypeData/train/ants/0013035.jpg" 
img_PIL1 = Image.open(img_path1)
img_array1 = np.array(img_PIL1)

img_path2 = "Data/SecondTypeData/train/bees_image/17209602_fe5a5a746f.jpg" 
img_PIL2 = Image.open(img_path2)
img_array2 = np.array(img_PIL2)

writer = SummaryWriter("logs") 
writer.add_image("test",img_array1,1,dataformats="HWC") # 1 表示该图片在第1步
writer.add_image("test",img_array2,2,dataformats="HWC") # 2 表示该图片在第2步                   
writer.close()

 

深度学习pytorch使用tensorboard可视化实验数据

[1] 可视化界面

  先上效果图：

[2] 使用教程

[2.1] 安装pytorch和tensorboard

  输入命令：

pip install torch
pip install tensorboard 

[2.2] 在代码中使用write

  代码demo：

import numpy as np
from torch.utils.tensorboard import SummaryWriter  # 也可以使用 tensorboardX
# from tensorboardX import SummaryWriter  # 也可以使用 pytorch 集成的 tensorboard

writer = SummaryWriter('log') # 配置生成的数据保存的地址
for epoch in range(100):
    writer.add_scalar('test/squared', np.square(epoch), epoch)

writer.close()

  执行上述代码后在本文件更目录下生成一个logs文件，且包含了一个事件文件。

[2.3] 打开tensorboard面板

  在pycharm中terminal终端输入：

tensorboard --logdir=logs

  一定要注意起初配置的生成文件保存地址，你在terminal终端中命令的地址要能够访问的到！！！

  输入命令后，会生成一个地址，访问即可。

  注意尽量要用谷歌浏览器访问。我用QQ浏览器（谷歌内核）有的数据都刷不出来。