使用恒源云服务器跑深度学习(使用pycharm_professional,FileZilla,xshell)
Posted 若oo尘
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了使用恒源云服务器跑深度学习(使用pycharm_professional,FileZilla,xshell)相关的知识,希望对你有一定的参考价值。
目录
一、前言
恒源云的“新手入门”和“文档中心”其实就很不错。恒源云官网
在官网里就能直接下载oss.exe,Xshell,FileZilla
不过每个人都有每个人的喜好。比如我,我使用的IDE是Pycharm专业版,文件传输选择恒源云的oss.exe与FileZilla,命令行操控采用Xshell。这几个软件一起实用都能很好的实现我的需求
说一下它们各自的优点
Pycharm专业版:可远程操控,并且我用习惯了,需要破解,建议上淘宝
oss.exe:速度极快,免费
FileZilla:可视化操作,免费,但是只能传小数据,传输速度一般
Xshell:方便,连接稳定,免费
二、操作
1.创建账户
它会免费赠送50G的oss存储。
2.使用OSS将本地电脑的数据上传服务器
在恒源云下载oss.exe,采用命令行格式传输数据。在自己本地的电脑中,可直接打开oss.exe(如果是直接打开.exe文件,则前缀不用加“oss”)。
先登录账号
login
再输入自己在恒源云创建的账号和密码,即可登录
随后使用如下命令传输数据。注意,数据必须为压缩包形式
cp xxx1 oss://xxx2
其中
xxx1为本地文件的路径
xxx2为服务器文件夹的路径
这样在我的数据中心就能看到了
3.创建实例
实例是指:我们具体租的电脑,选一个合适自己的显卡
选择实例镜像,第一次创建实例,选择官方的镜像即可
4.将服务器数据上传我们的实例
(1)开机
这里要先让实例开机,实例开机后,“在登录指令”那里会有实例的主机名、账号名、密码。
可将其复制在txt中,方便使用
(2)使用Xshell命令行远程登录
接着用Xshell远程登录实例
如果有时候出现连接着就突然断开连接的现象,那么可以想Xshell换成Putty,Putty同样也免费易使用
(3)在实例环境下操作
登录后,使用oss。由于oss已经默认被加入到了实例的环境变量中,可使用如下命令
oss login
oss cp oss://xxx2 xxx3
第一行是登录
第二行:xxx2是储存在服务器中的数据,xxx3是想要在实例中存放数据的位置。恒源云建议放在/hy-tmp/中初始50GB免费,扩容价格每GB 0.0004元/小时)
随后,解压压缩包,推荐使用7z
先安装
apt-get install p7zip-full -y
相关命令
7z x compress.zip -o/hy-nas
7z x compress.rar
第一行:“compress.zip”指压缩包名字,-o后面接解压文件夹名字
第二行:直接解压至当前文件夹
压缩命令
zip -r compress.zip directory
directory是压缩结果的目录
5.使用pip管理python包
使用pip命令非常方便
pip list
pip install xxx
pip install --update xxx
6.使用pycharm专业版远程调试程序
(1)在菜单中打开 Tools -> Deployment -> Configuration
(2)选择SFTP
(3)填写服务器名称,随意填
(4)点SSH configuration
(5)点加号
(6)填写服务器信息,Host是服务器名,User name是用户名,Port为端口号,Password为密码,点击Test Connection,如果提示能连接,那么说明上述信息填写没有问题,接着选OK。
(7)修改Python解释器
我们通常在自己电脑中是使用自己电脑下的解释器,那么现在我们使用服务器
这里Interpreter在图中有误应为/usr/bin/python,设置Sync folders,该选项为设置实例中的同步目录,这里很重要
Local Path也要修改,这里是本地程序的路径
这样就完成了本地程序与服务器程序同步的操作,还可以在Tool-Deployment-Automatic Upload自动上传程序。当运行本地程序时,会自动上传程序。注意,如果只是程序,那么上传速度很快;如果是同步数据集,那么速度很慢,不如先将数据集压缩成压缩包再利用先前的方法上传实例更快。
此外,如果出现无法同步的现象,那么多试试Deployment中的东西(我估计是BUG)。
7.使用FileZilla上传与下载数据
(1)在文件->站点管理器填写实例相关信息,然后协议要用SFTP
(2)选择连接后,就能可视化传数据了。使用鼠标拖动就能完成
恒源云_云GPU服务器如何使用Spyder?
文章来源 | 恒源云社区(专注人工智能/深度学习云 GPU 服务器训练平台,官方体验网址:恒源智享云)
原文地址 | spyder
分享了几个礼拜的社区大佬的文章,今天给大家换个口味的。
了解了那么多算法类深度学习的知识,总归是要应用到实际的,各位小伙伴你们说对不?
而在运用那些知识之前,各类代码编辑器,你们又了解多少呢?
今天,小编给大家带了一篇介绍Spyder使用方法的文章,想了解的小伙伴,就继续看下去吧!
正文开始:
Spyder 是一款免费、开源的跨平台 Python 语言开发环境,提供高级的代码编辑、交互测试、调试等特性。使用其远程连接功能使用远程 Python 解析器。
创建好实例后打开该实例的 JuypterLab,新建一个终端。也可以通过 SSH 客户端工具连接到实例内。
在终端窗口执行命令安装安装 spyder-kernels
,并开启一个 Kernel。启动后需要记录提示的 kernel 文件名,这里为 kernel-203.json
。
pip install spyder-kernels --no-cache
python -m spyder_kernels.console
此时 kernel 已经正在运行中。从菜单中新建一个新的终端窗口。
新窗口中执行 jupyter --runtime-dir
命令,查看 runtime 目录。进入该目录,查看刚才记录的 kernel 文件的内容。将整段 JSON 内容复制。
jupyter --runtime-dir
cd /root/.local/share/jupyter/runtime
ls
cat kernel-203.json
内容复制到本地的文本编辑器中,保存为本地一个 JSON 文件。在这里存储到本地 D:\\kernel.json
。
打开 Spyder 编辑器,在菜单中选择 Consoles - Connect to an existing kernel。
从 我的实例 的登陆指令中提取登陆的主机名、端口号和用户。如 ssh -p 39815 root@i-1.gpushare.com
,提取后的信息如下。
Hostname | Port | Username |
---|---|---|
i-1.gpushare.com | 39815 | root |
在 Spyder 连接配置中勾选 This is remote kernel 选项。Connection file 选择刚保存的 JSON 文件。将信息填写在 SSH 配置中,Password 从 我的实例 中点击复制密码粘贴。可以勾选左下角 Save connection settings 保存设置。点击 OK。
连接成功后在右下角会自动出现远程窗口,输入 !开头的 Shell 命令可以执行 Linux 命令。
Spyder 不能在远程运行本地的文件,直接使用 Run 会提示文件夹或文件不存在。使用 Run cell 可以逐块使用远程解析器执行。
以上是关于使用恒源云服务器跑深度学习(使用pycharm_professional,FileZilla,xshell)的主要内容,如果未能解决你的问题,请参考以下文章