使用恒源云服务器跑深度学习(使用pycharm_professional,FileZilla,xshell)

Posted 若oo尘

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了使用恒源云服务器跑深度学习(使用pycharm_professional,FileZilla,xshell)相关的知识,希望对你有一定的参考价值。

目录

一、前言

二、操作

1.创建账户

2.使用OSS将本地电脑的数据上传服务器

3.创建实例

4.将服务器数据上传我们的实例

(1)开机

(2)使用Xshell命令行远程登录

(3)在实例环境下操作

5.使用pip管理python包

6.使用pycharm专业版远程调试程序

7.使用FileZilla上传与下载数据


一、前言

恒源云的“新手入门”和“文档中心”其实就很不错。恒源云官网

在官网里就能直接下载oss.exe,Xshell,FileZilla 

不过每个人都有每个人的喜好。比如我,我使用的IDE是Pycharm专业版,文件传输选择恒源云的oss.exeFileZilla,命令行操控采用Xshell。这几个软件一起实用都能很好的实现我的需求

说一下它们各自的优点

Pycharm专业版:可远程操控,并且我用习惯了,需要破解,建议上淘宝

oss.exe:速度极快,免费

FileZilla:可视化操作,免费,但是只能传小数据,传输速度一般 

Xshell:方便,连接稳定,免费

二、操作

1.创建账户

它会免费赠送50G的oss存储。

2.使用OSS将本地电脑的数据上传服务器

在恒源云下载oss.exe,采用命令行格式传输数据。在自己本地的电脑中,可直接打开oss.exe(如果是直接打开.exe文件,则前缀不用加“oss”)。

先登录账号

login

再输入自己在恒源云创建的账号和密码,即可登录

随后使用如下命令传输数据。注意,数据必须为压缩包形式

cp xxx1 oss://xxx2

其中

xxx1为本地文件的路径

xxx2为服务器文件夹的路径

 这样在我的数据中心就能看到了

3.创建实例

实例是指:我们具体租的电脑,选一个合适自己的显卡

选择实例镜像,第一次创建实例,选择官方的镜像即可

4.将服务器数据上传我们的实例

(1)开机

这里要先让实例开机,实例开机后,“在登录指令”那里会有实例的主机名、账号名、密码。

 可将其复制在txt中,方便使用 

(2)使用Xshell命令行远程登录

接着用Xshell远程登录实例

如果有时候出现连接着就突然断开连接的现象,那么可以想Xshell换成Putty,Putty同样也免费易使用

(3)在实例环境下操作

登录后,使用oss。由于oss已经默认被加入到了实例的环境变量中,可使用如下命令

oss login

oss cp oss://xxx2 xxx3

第一行是登录

第二行:xxx2是储存在服务器中的数据,xxx3是想要在实例中存放数据的位置。恒源云建议放在/hy-tmp/中初始50GB免费,扩容价格每GB 0.0004元/小时)

随后,解压压缩包,推荐使用7z

先安装

apt-get install p7zip-full -y

相关命令

7z x compress.zip -o/hy-nas

7z x compress.rar

 第一行:“compress.zip”指压缩包名字,-o后面接解压文件夹名字

第二行:直接解压至当前文件夹

压缩命令

zip -r compress.zip directory

directory是压缩结果的目录 

5.使用pip管理python包

使用pip命令非常方便

 pip list

pip install xxx

pip install --update xxx

6.使用pycharm专业版远程调试程序

(1)在菜单中打开 Tools -> Deployment -> Configuration

 (2)选择SFTP

(3)填写服务器名称,随意填 

 

(4)点SSH configuration 

 

 (5)点加号

(6)填写服务器信息,Host是服务器名,User name是用户名,Port为端口号,Password为密码,点击Test Connection,如果提示能连接,那么说明上述信息填写没有问题,接着选OK。

 

(7)修改Python解释器

我们通常在自己电脑中是使用自己电脑下的解释器,那么现在我们使用服务器

 这里Interpreter在图中有误应为/usr/bin/python设置Sync folders,该选项为设置实例中的同步目录,这里很重要

 Local Path也要修改,这里是本地程序的路径

 这样就完成了本地程序与服务器程序同步的操作,还可以在Tool-Deployment-Automatic Upload自动上传程序。当运行本地程序时,会自动上传程序。注意,如果只是程序,那么上传速度很快;如果是同步数据集,那么速度很慢,不如先将数据集压缩成压缩包再利用先前的方法上传实例更快

此外,如果出现无法同步的现象,那么多试试Deployment中的东西(我估计是BUG)。

7.使用FileZilla上传与下载数据

(1)在文件->站点管理器填写实例相关信息,然后协议要用SFTP

 (2)选择连接后,就能可视化传数据了。使用鼠标拖动就能完成

恒源云_云GPU服务器如何使用Spyder?

文章来源 | 恒源云社区(专注人工智能/深度学习云 GPU 服务器训练平台,官方体验网址:恒源智享云)

原文地址 | spyder


分享了几个礼拜的社区大佬的文章,今天给大家换个口味的。

了解了那么多算法类深度学习的知识,总归是要应用到实际的,各位小伙伴你们说对不?

而在运用那些知识之前,各类代码编辑器,你们又了解多少呢?

今天,小编给大家带了一篇介绍Spyder使用方法的文章,想了解的小伙伴,就继续看下去吧!

正文开始:

Spyder 是一款免费、开源的跨平台 Python 语言开发环境,提供高级的代码编辑、交互测试、调试等特性。使用其远程连接功能使用远程 Python 解析器。

创建好实例后打开该实例的 JuypterLab,新建一个终端。也可以通过 SSH 客户端工具连接到实例内。

在终端窗口执行命令安装安装 spyder-kernels,并开启一个 Kernel。启动后需要记录提示的 kernel 文件名,这里为 kernel-203.json

pip install spyder-kernels --no-cache
python -m spyder_kernels.console

此时 kernel 已经正在运行中。从菜单中新建一个新的终端窗口。

新窗口中执行 jupyter --runtime-dir 命令,查看 runtime 目录。进入该目录,查看刚才记录的 kernel 文件的内容。将整段 JSON 内容复制。

jupyter --runtime-dir
cd /root/.local/share/jupyter/runtime
ls
cat kernel-203.json

内容复制到本地的文本编辑器中,保存为本地一个 JSON 文件。在这里存储到本地 D:\\kernel.json

打开 Spyder 编辑器,在菜单中选择 Consoles - Connect to an existing kernel。

我的实例 的登陆指令中提取登陆的主机名、端口号和用户。如 ssh -p 39815 root@i-1.gpushare.com,提取后的信息如下。

HostnamePortUsername
i-1.gpushare.com39815root

在 Spyder 连接配置中勾选 This is remote kernel 选项。Connection file 选择刚保存的 JSON 文件。将信息填写在 SSH 配置中,Password 从 我的实例 中点击复制密码粘贴。可以勾选左下角 Save connection settings 保存设置。点击 OK。

连接成功后在右下角会自动出现远程窗口,输入 !开头的 Shell 命令可以执行 Linux 命令。

Spyder 不能在远程运行本地的文件,直接使用 Run 会提示文件夹或文件不存在。使用 Run cell 可以逐块使用远程解析器执行。

以上是关于使用恒源云服务器跑深度学习(使用pycharm_professional,FileZilla,xshell)的主要内容,如果未能解决你的问题,请参考以下文章

恒源云_云GPU服务器如何使用Spyder?

深度学习训练 | spaCy如何在云服务器上安装使用?

恒源云_云GPU服务器如何使用 TensorBoard?

恒源云_云GPU服务器如何使用 JupyterLab?

恒源云_云GPU服务器如何使用 Visdom?

深度学习训练 | 如何在云服务器上安装LightGBM