深度学习远程炼丹:一文离线完成ubuntu+docker+pycharm环境配置
Posted Yunlord
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了深度学习远程炼丹:一文离线完成ubuntu+docker+pycharm环境配置相关的知识,希望对你有一定的参考价值。
文章目录
前言
本文详细讲解如何在离线服务器中安装docker+pycharm的远程深度学习环境,先得在一台能够连接互联网的电脑上下载相应的包和环境,然后再进行移植,详细步骤如下所示。
一、Ubuntu离线安装docker
当本地电脑无法连接外网时,只能使用离线安装的模式,在Docker的官网提供了离线下载的安装包,选择适配自己的环境即可。
下载地址:https://download.docker.com/linux/ubuntu/dists/xenial/pool/stable/amd64
需要下载三个文件:containerd.io_1.2.5-1_amd64.deb、docker-ce-cli_18.09.63-0ubuntu-bionic_amd64.deb 和docker-ce_18.09.63-0ubuntu-bionic_amd64.deb ,前面两者是后者的依赖,如果直接安装后者会提示缺少前面的依赖,将这三个文件放到本地目录后分别进行安装:
ubuntu@ubuntu:~$ sudo dpkg -i docker-ce-cli_18.09.6~3-0~ubuntu-bionic_amd64.deb
ubuntu@ubuntu:~$ sudo dpkg -i containerd.io_1.2.5-1_amd64.deb
ubuntu@ubuntu:~$ sudo dpkg -i docker-ce_18.09.6~3-0~ubuntu-bionic_amd64.deb
之后Docker的守护进程就自动启动了,可查看Docker的版本:
ubuntu@ubuntu:~$ docker -v
Docker version 18.09.6, build 481bc77
设置docekr-ce开机自启动
sudo systemctl enable docker
sudo systemctl start docker
如果不想每次执行docker命令的时候使用sudo,可执行如下命令:
$ sudo usermod -aG docker your-user
然后我们需要添加DNS不然会报错Temporary failure resolving ‘archive.ubuntu.com‘:
vim /etc/resolv.conf
添加
nameserver 114.114.114.114
nameserver 8.8.8.8
重启docker
service docker restart
二、dockerhub下载合适镜像
另外,镜像也需要离线拷贝到本地,需要先pull拉取镜像后另存为tar文件拷贝到本地解压。
例如,拷贝测试Docker的pytorch镜像拷本地使用,首先需要在dockerhub公网环境选择合适的镜像,然后拉取镜像:
docker pull bitnami/pytorch```
三、配置docker容器
1.运行容器
docker run -v /opt/workplace:workplace --name pytorchnlp -p 8080:22 -it bitnami/pytorch
2.给容器安装openssh-server和openssh-client
apt-get install openssh-server
apt-get install openssh-client
apt-get install vim
3.vim打开并修改配置文件
vim /etc/ssh/sshd_config
#Authentication:
PermitRootLogin yes
RSAAuthentication yes # 允许root进入
PubkeyAuthentication yes
然后将镜像转换为tar文件:
$ sudo docker save -o pytorch.tar bitnami/pytorch
4.创建docker中root用户的密码:
passwd root
5.重启ssh服务
service ssh restart
6.确认docker容器内python位置
which python
7.测试是否映射成功
退出docker,或者新启终端:
ssh root@127.0.0.1 -p 8080
如果弹出输入密码,则成功,输入之前设置的密码即可进入。
8.生成新的镜像
docker commit 7843e0556e67 bertpytorch
9.导出镜像
docker save -o bertpytorch.tar bertpytorch
10.导入镜像
docker load --input bertpytorch.tar
四、配置pycharm连接docker容器
1.打开Configuration配置远程连接
2.添加sftp–输入IP地址,端口,密码后测试连接
3.本地项目和容器项目映射
4.本地和远程容器 代码同步
5.选择设置python编译器
6.选择SSH Interpreter后 找到之前设置的ip:端口,点击Next
选择之前whichp ython得到的 /usr/local/bin/python
选择本地路径和项目路径
完成后pycharm连接docker容器完成
总结
里面一些具体步骤还不明白的可以在评论区里留言讨论。
参考:
Temporary failure resolving ‘archive.ubuntu.com‘
pycharm连接docker容器
以上是关于深度学习远程炼丹:一文离线完成ubuntu+docker+pycharm环境配置的主要内容,如果未能解决你的问题,请参考以下文章