深度学习远程炼丹:一文离线完成ubuntu+docker+pycharm环境配置

Posted Yunlord

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了深度学习远程炼丹:一文离线完成ubuntu+docker+pycharm环境配置相关的知识,希望对你有一定的参考价值。

文章目录


前言

本文详细讲解如何在离线服务器中安装docker+pycharm的远程深度学习环境,先得在一台能够连接互联网的电脑上下载相应的包和环境,然后再进行移植,详细步骤如下所示。

一、Ubuntu离线安装docker

当本地电脑无法连接外网时,只能使用离线安装的模式,在Docker的官网提供了离线下载的安装包,选择适配自己的环境即可。
下载地址:https://download.docker.com/linux/ubuntu/dists/xenial/pool/stable/amd64

需要下载三个文件:containerd.io_1.2.5-1_amd64.deb、docker-ce-cli_18.09.63-0ubuntu-bionic_amd64.deb 和docker-ce_18.09.63-0ubuntu-bionic_amd64.deb ,前面两者是后者的依赖,如果直接安装后者会提示缺少前面的依赖,将这三个文件放到本地目录后分别进行安装:

ubuntu@ubuntu:~$ sudo dpkg -i docker-ce-cli_18.09.6~3-0~ubuntu-bionic_amd64.deb 
ubuntu@ubuntu:~$ sudo dpkg -i containerd.io_1.2.5-1_amd64.deb
ubuntu@ubuntu:~$ sudo dpkg -i docker-ce_18.09.6~3-0~ubuntu-bionic_amd64.deb 

之后Docker的守护进程就自动启动了,可查看Docker的版本:

ubuntu@ubuntu:~$ docker -v
Docker version 18.09.6, build 481bc77

设置docekr-ce开机自启动

sudo systemctl enable docker
sudo systemctl start docker

如果不想每次执行docker命令的时候使用sudo,可执行如下命令:

$ sudo usermod -aG docker your-user

然后我们需要添加DNS不然会报错Temporary failure resolving ‘archive.ubuntu.com‘:

vim /etc/resolv.conf

添加

nameserver 114.114.114.114
nameserver 8.8.8.8

重启docker

service docker restart

二、dockerhub下载合适镜像

另外,镜像也需要离线拷贝到本地,需要先pull拉取镜像后另存为tar文件拷贝到本地解压。
例如,拷贝测试Docker的pytorch镜像拷本地使用,首先需要在dockerhub公网环境选择合适的镜像,然后拉取镜像:

docker pull bitnami/pytorch```

三、配置docker容器

1.运行容器

docker run -v  /opt/workplace:workplace --name pytorchnlp -p 8080:22 -it bitnami/pytorch

2.给容器安装openssh-server和openssh-client

apt-get install openssh-server
apt-get install openssh-client
apt-get install vim

3.vim打开并修改配置文件

vim /etc/ssh/sshd_config
#Authentication:
PermitRootLogin yes
RSAAuthentication yes # 允许root进入
PubkeyAuthentication yes

然后将镜像转换为tar文件:

$ sudo docker save -o pytorch.tar bitnami/pytorch

4.创建docker中root用户的密码:

passwd root

5.重启ssh服务

service ssh restart

6.确认docker容器内python位置

which python

7.测试是否映射成功

退出docker,或者新启终端:

ssh root@127.0.0.1 -p 8080

如果弹出输入密码,则成功,输入之前设置的密码即可进入。

8.生成新的镜像

docker commit 7843e0556e67 bertpytorch

9.导出镜像

docker save -o bertpytorch.tar bertpytorch

10.导入镜像

docker load --input bertpytorch.tar

四、配置pycharm连接docker容器

1.打开Configuration配置远程连接

2.添加sftp–输入IP地址,端口,密码后测试连接

3.本地项目和容器项目映射

4.本地和远程容器 代码同步

5.选择设置python编译器

6.选择SSH Interpreter后 找到之前设置的ip:端口,点击Next

选择之前whichp ython得到的 /usr/local/bin/python
选择本地路径和项目路径
完成后pycharm连接docker容器完成

总结

里面一些具体步骤还不明白的可以在评论区里留言讨论。


参考:
Temporary failure resolving ‘archive.ubuntu.com‘
pycharm连接docker容器

以上是关于深度学习远程炼丹:一文离线完成ubuntu+docker+pycharm环境配置的主要内容,如果未能解决你的问题,请参考以下文章

深度学习“炼丹”难?三分钟带你了解国产丹炉旷视天元

远程炼丹:zerotier内网穿透+vscode配置远程开发+tmux终端复用

深度学习调参(炼丹)指南来了!

深度学习网络训练技巧汇总

经验 | 深度学习·炼丹入门

经验 | 深度学习·炼丹入门