Pytorch/Ubuntu

Posted 2020-12-10 zgf晴天雨

Dataset

Dataset 是 PyTorch 中用来表示数据集的一个抽象类。我们可以为自己的数据集创建一个dataset类，这个dataset类决定决定数据从哪读取及如何读取，需要继承Dataset类，并且至少覆写下面三个方法：

• __len__： 返回数据集大小
• __getitem__：规定了如何读取数据
  
•  __init__()：构造函数，包含一些属性

定义好了一个dataset以后，就可以直接通过dataset[i]来访问第i+1个数据。

dataset类，其实就是一个负责处理索引(index)到样本(sample)映射的一个类(class)

 SummaryWriter

在程序里面输入：

# Logging into Tensorboard
log_dir = os.path.join(save_dir, \'runs\', datetime.now().strftime(\'%b%d_%H-%M-%S\') + \'_\' + socket.gethostname())
writer = SummaryWriter(log_dir=log_dir, comment=\'-parent\')

writer.add_scalar(\'data/total_loss_iter\', loss.item(), ii + num_img_tr * epoch)

在命令行输入：

tensorboard --logdir= runs

在浏览器输入：

http://localhost:6006/ 

ubuntu上压缩文件

zip -r filename.zip（压缩后的文件叫什么） filename(待压缩的文件名)

Ubuntu上安装anaconda最后一步手快选了no

anaconda3安装的时候最后一步手快选了no 导致每次重启terminal的时候需要重新添加anaconda的变量，心塞塞。。。

输入conda activate 出现 bash: conda: command not found

解决办法：

1. 首先在终端输入 export PATH=/root/anaconda3/bin:$PATH

此时输入conda info --envs 会列出之前创建的虚拟环境：

# conda environments:
#
base * /root/anaconda3
pytorch-gpu /root/anaconda3/envs/pytorch-gpu

2. 然后输入 conda activate pytorch-gpu

出现

CommandNotFoundError: Your shell has not been properly configured to use \'conda activate\'.
To initialize your shell, run

$ conda init <SHELL_NAME>

Currently supported shells are:
- bash
- fish
- tcsh
- xonsh
- zsh
- powershell

See \'conda init --help\' for more information and options.

IMPORTANT: You may need to close and restart your shell after running \'conda init\'.

3. 最后输入 source activate 

OK了
(base) root@a105ea597ce0:/_guifangzhang/vos/COSNet#

 

BCEloss
https://www.jianshu.com/p/ac3bec3dde3e

FCN
https://blog.csdn.net/stesha_chen/article/details/87784989?depth_1-utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-1&utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-1

Python logging模块的简单使用
https://www.jianshu.com/p/7776e9a50827

Python argparse命令行参数解析包的详细使用说明书
https://www.bilibili.com/video/av53146201/
https://www.youtube.com/watch?v=cdblJqEUDNo

Pytorch实现UNet例子学习
https://www.cnblogs.com/wanghui-garcia/p/10719121.html

 

可视化网络结构(直接在线导入训练好的模型) ：

https://lutzroeder.github.io/netron/

PyTorch如何打印每层的输出形状:

pip install torchsummary

from torchsummary import summary

summary(model, input_size=(C, H, W))

比如：summary(model, input_size=(3, 473, 473))

如果有多个输入：
summary(model, input_size=[(3, 473, 473), (3, 473, 473)])

finetune预训练模型
https://blog.csdn.net/AManFromEarth/article/details/81071823

 

Anaconda 安装教程

 https://blog.csdn.net/wshzd/article/details/78953808

 

SSH 连接到本机

【远程连接】用ssh建立Jupyter Notebook映射（远程连接Jupyter Notebook） - 灰信网（软件开发博客聚合） (freesion.com)