从零开始搭建深度学习环境

Posted 2023-03-01 zhongrui_fzr

开始深度学习调参之路不能没有一个趁手的环境

安装基础环境

我使用的机器环境是：Ubuntu18.04

1. 安装显卡驱动
   1.
   2. 按照cuda所需的版本安装
   3. sudo ubuntu-drivers autoinstall
2. 安装pip
   1. sudo apt-get install python-pip
3. 下载anaconda3
   1. 地址：https://www.anaconda.com/distribution/
   2. 安装路径：/home/anaconda3
   3. 进入下载路径：bash Anaconda3-5.2.0-Linux-x86_64.sh
   4. 打开.bashrc验证anaconda环境变量
4. 查看NVIDIA图形卡和推荐的驱动程序的模型：ubuntu-drivers devices
   1.
5. 验证显卡驱动版本： cat /proc/driver/nvidia/version
6. 安装cuda
   1. 版本选择：
      1. 只有cudnn7.4.2支持Ubuntu18.04和16.04
      2. cuDnn 7.4.2需要cuda10.0, cuda10.0需要gcc版本是7.3.0，而Ubuntu18.04的GCC版本正是7.3，无需降级，因此选择cuda版本为10.0
   2. 下载cuda10.0：https://developer.nvidia.com/cuda-10.0-download-archive?target_os=Linux&target_arch=x86_64&target_distro=Ubuntu&target_version=1804&target_type=runfilelocal
   4. 如果有多个文件，之后的属于补丁，需要全部下载
   5. 安装cuda：进入下载目录，执行 sudo sh cuda_10.0.130_410.48_linux.run, 如果有其他的补丁文件，需要同样方式执行
   6. 之前已经安装过显卡驱动程序，因此在提问是否安装显卡驱动时选择no，其他默认(NVIDIA Accelerated Graphics Driver)
   7. 增加环境变量
   8. 验证cuda版本：nvcc -V
7. 安装cudnn
   1. cuDnn的安装，就是讲cuDNN包内的文件，拷贝到cuda文件夹中即可
   2. 下载地址：https://developer.nvidia.com/rdp/cudnn-download
   4. tar -zxvf 解压缩
   5. sudo cp cuda/include/cudnn.h /usr/local/cuda/include/
   6. sudo cp cuda/lib64/libcudnn* /usr/local/cuda/lib64/
   7. sudo chmod a+r /usr/local/cuda/include/cudnn.h /usr/local/cuda/lib64/libcudnn*
      接下来就可以安装tensorflow的gpu版本了

安装tensorflow

1、下载安装anaconda
可以先配置国内镜像，加快速度
修改pip源

linux下，修改 ~/.pip/pip.conf (没有就创建一个)， 修改 index-url至tuna，内容如下：
 [global]
 index-url = https://pypi.tuna.tsinghua.edu.cn/simple

2、创建TensorFlow环境

// 创建环境,在anaconda默认envs路径下
$ conda create -n tensorflow python=3.5
// 移除环境
$ conda remove —name tensorflow —all
// 在指定envs路径下创建环境
$ conda create --prefix=/Users/fzr/.conda/envs tensorflow python=3.5
注意：目前Mac上的Tensorflow仅仅支持CPU版本，而且3.0以上版本仅支持3.5版本，所以创建环境的时候一定要加上Python=3.5。详情可以去Github Tensorflow查看。

3、设置国内镜像

# 添加Anaconda的清华开源软件镜像
conda config -—add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
# TUNA的help种镜像地址有引号，需要去掉
# 设置搜索时显示通道地址
conda config —set show_channel_urls yes
查看镜像列表：
conda config —-show
移除镜像：
conda config —-remove channels 'https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/'
在镜像修改之后，一定要验证:conda config --show
查看anaconda所有环境信息
conda env list
查看anaconda安装信息
conda info

4、安装TensorFlow
目前仅仅是创建了一个空的环境，仅有与Python3.5相关的一些包，需要先激活环境，然后安装TensorFlow

//激活环境
$ source activate tensorflow
//安装TensorFlow
$ pip install tensorflow
// 关闭环境
$ source deactivate

查看某个指定环境的已安装包

conda list -n python34

5、测试是否安装成功

// 激活环境后，进入Python
>>> import tensorflow as tf
>>> hello = tf.constant('hello, Tensorflow’)
>>> sess = tf.Session()
>>> print(sess.run(hello))
hello, Tensorflow

6、tensorflow常用包安装
conda install opencv-python
conda install -c chembl easydict
conda install cython
conda install tqdm
conda install scipy
conda install matplotlib
conda install Pillow
conda install scikit-learn
conda install pyyaml

PIL 安装会和easydict冲突，因此选择Pillow
Import cv2 报错解决
apt update && apt install -y libsm6 libxext6
apt-get install libxrender1
apt-get install libglib2.0-0