使用经验-深度学习云服务器mist GPU

Posted 2021-09-12 L.H.Matt

关于mistGPU的使用

0. 导读

最近显卡这价格。。。还是买不起

但是做深度学习，只用 cpu 实在是太难受了

• 浪费时间，使得调参周期长
• 每次能使用的 batchsize 很小，本质上会影响 accuracy
• 不能使用较大的模型，大多数人的笔记本 cpu 跑 vgg16 用 32 的 batchSize 都费劲

最近找了几个云服务器，比较下来，还是mist好用，这里给出链接：mistGPU的网址

---

接下来聊一聊我自己使用mist服务器训练模型的一种方法——命令行 + 云端 + JupyterLab方法

该方法相对来说操作较为方便，供大家参考

1. 数据集

1. 首先在本地把数据集打包好，打包为.zip的格式，
2. 然后上传至mistGPU的云端（1G以下不收费）
3. 接着要将云端的压缩包解压到服务器的根目录，操作如下：

使用mistGPU的命令行工具，输入：

unzip /data/example.zip -d ~/

即可将数据集解压到根目录

4. 在根目录内查看数据集文件

比如example.zip里面的内容为文件夹flower_data，使用命令：

ls ~/

即可显示：flowerdata

• 注：在迁移学习时，pth文件较大，也可以用同样的方法上传至mist服务器

2. 代码文件

建议：

1. 在本地把所有代码都写好
2. 在小batchsize、小模型的情况下先跑通，确保代码没有实质性错误
3. 用mist服务器上的 JupyterLab中将较小的 .py 文件等导入到 ~/路径 (根目录)

最后还是使用mist服务器到命令行输入指令

如：

python train.py

接下来等待结果

3. 下载结果

首先在 JupyterLab 里面找到要下载的内容的路径：

• 如在 ~/ 路径下有一个vgg16.pth 文件是训练结果

在本地的命令行里输入指令：

scp -r -P0040 [e-mail]:~/vgg16.pth /Users/name/Downloads

即：

scp -r -P0040 [e-mail]:~/文件  本地路径

即可高速下载至本地

• 备注：（cuda -> cpu）

在服务器上的 pth 文件为 cuda 版本的

而本地使用该 pth 文件时，往往是 cpu 运行

故需要将导入 pth 文件的代码进行修改：

• 原先是：

model.load_state_dict(torch.load('./example.pth'))

• 需要改成

model.load_state_dict(torch.load('./example.pth', 
                                 map_location=lambda storage, 
                                 loc: storage))

4. 尾巴

本文主要给出了一种我个人较为常用的方法，而mist官方的文档里还有介绍其他的方法：

• 图形界面方法，这里主要是利用ssh端口以及Remote Desktop软件，来远程操作服务器，网络不好的直接劝退（延时很厉害）
• PyCharm连接服务器方法，利用SSH解释器，我自己配置了几次，都是网速不行，连接失败。。
• Vscode连接服务器方法，和上一条大同小异

客观来说，mist服务器算是目前市面上操作比较友好的一个平台了，唯一的缺点就是略贵，不过相比阿里云之类的，mist甚至性价比还不错，如图：

另外，可以使用邀请链接来得到赠送券，这是我的邀请链接，各位兄弟不妨点一下

---

文章若有错误，欢迎指正！