Ubuntu下TensorFlow GPU版本的运行

Posted 2023-03-29

参考技术A 在CUDA完成安装之后，还需要添加环境变量，打开终端，输入下面的命令：

export PATH=/usr/local/cuda-9.0/bin$PATH:+:$PATH
如果是64位系统，输入：
export LD_LIBRARY_PATH=/usr/local/cuda-9.0/lib64$LD_LIBRARY_PATH:+:$LD_LIBRARY_PATH
如果是32位系统，输入：
export LD_LIBRARY_PATH=/usr/local/cuda-9.0/lib$LD_LIBRARY_PATH:+:$LD_LIBRARY_PATH

如果需要使用其中的内置库
export PYTHONPATH=$PYTHONPATH:/home/time/ImageNet/models-master

ResNet的程序位于offical/resnet目录下
假设ImageNet存放目录为
/media/time/20162AC5162A9BB2/Thunder/ImageNet_TF

运行
python imagenet_main.py --data_dir='/media/time/20162AC5162A9BB2/Thunder/ImageNet_TF' --batch_size=16 --model_dir='./model_101Res/' --resnet_size=101

可以将上面的文件写成批处理文件

注意这里Image_main.py的参数

tensorboard --logdir=/home/time/ImageNet/models-master/official/resnet/model_101Res
可以启动tensorboard观察运行状态

备忘 ubuntu 18.04 下安装 tensorflow GPU 版本

转自：https://www.cnblogs.com/hutao722/p/9342577.html

 

tensorflow目前已经升级至r1.9版本。在之前的深度学习中，我是在MAC的虚拟机上跑CPU版本的tensorflow程序，当数据量变大后，tensorflow跑的非常慢，在内存不足情况下，又容易造成系统崩溃（虚拟机走的是windows7）。

 

1. 配置信息

为了后续的深度学习，不得已，我在京东买了一部组装厂商提供的主机，是网吧特供机。配置如下：

• CPU i5 8400 6核
• 16G内存
• GPU Geforce 1060 5G版本
• 240G SSD 硬盘

    为什么是这个配置呢？因为该机的配置原来是瞄准了吃鸡等游戏，而GPU Geforce 1060又是深度学习的入门版的要求，加之价格是同等配置中最低的，加上京东优惠券最后不到4000元搞定。

 

2. 选择操作系统

      收货后，在预装的win10上跑了跑分，检查没什么问题后，就准备卸载windows，安装unbuntu。那到底装什么版本好呢？我在官网 https://www.tensorflow.org/install/install_linux?hl=zh-cn 上看看推荐说明，要求是Ubuntu 16.04 或更高版本。

然后我又进入CUDA的官网查看相关说明，这时CUDA已升级并默认推荐9.2版本，该版本显示支持Ubuntu 17.10 和 16.04。由于担心无法支持18.04，于是果断下载17.10的安装包，并做了u盘启动盘进行安装。可让我崩溃的是，在安装到选择“时区”时，居然弹框提示我这样一段信息：

The installer encountered an error copying files to the hard disk: [Errno 5] Input/output error This is often due to a faulty CD/DVD disk or drive, or a faulty hard disk. It may help to clean the CD/DVD, to burn the CD/DVD at a lower speed, to clean the CD/DVD drive lens (cleaning kits are often available from electronics suppliers), to check whether the hard disk is old and in need of replacement, or to move the system to a cooler environment

      安装被迫中断了，我google了国外的论坛，已经有不少人指出这是存在已久的bug提示了，从内容上来说是检查系统时发现有cd或硬盘的硬件问题。可是我这是全新的系统，windows上都运行好好的，怎么在这就出问题了。还有人说可能是内存条损坏，或者有两条以上的内存时也会出现这个提示，可我换了其他内存条，或用一根内存条去试，还是报上述问题。

不得已，我想也许新的Ubuntu系统能解决这个bug，于是做了18.04的新系统，安装后果然好使，顺利安装完成。

 

     3. 选择CUDA和cuDNN版本

tensorflow的官网提到，CUDA用到9.0，cuDNN用到7.0 版本，可是Nvidia官网最新的已经是CUDA9.2，cuDNN对应的是7.1.4。

其中CUDA如果是9.0的话，gcc和g++只能支持6.0以下，而Ubuntu 18.04上默认安装的是7.2版本；而如果CUDA是9.2版本，则支持gcc和g++的版本为7.3，显然和Ubuntu 18.04上是匹配的。

于是我抱着试试运气的心态装了CUDA9.2和cuDNN7.1.4，一路安装没问题，又装了tensorflow 1.9，到最后要运行一个demo时，才发现问题，提示我说 libcudart.so.9.0 不能被找到！原来 /usr/local/cuda-9.2/lib64/下是libcudart.so.9.2，而tensorflow 1.9仅支持到libcudart.so.9.0。这是安装失败后才得到的教训啊！

所以对于tensorflow 1.9来说，就得是CUDA 9.0，而官网的说明文字也是这样，只是进入CUDA的下载页面，要从 "Legacy Release" 中选择CUDA 9.0进行下载，对应的cuDNN是7.0.5，对应的下载页面和地址如下：

• CUDA 9.0 https://developer.nvidia.com/cuda-toolkit-archive
• cuDNN 7.0.5 https://developer.nvidia.com/rdp/cudnn-archive  注意cuDNN下载前需要注册登录

 

　4. 安装CUDA前的操作

cuda的官网 https://docs.nvidia.com/cuda/cuda-installation-guide-linux/#choose-installation-method 安装说明中已经列出了检查步骤。如果你的GPU在支持列表中，则我们只需要做如下操作：

1）. 安装GPU驱动程序。Ubuntu在安装后，是给了一个叫Nouveau默认内建的驱动程序。我们需要安装GPU针对性的驱动程序，有篇文章教怎么在Ubuntu上安装合适的驱动：https://linuxconfig.org/how-to-install-the-nvidia-drivers-on-ubuntu-18-04-bionic-beaver-linux 。

简单来说，执行 ubuntu-drivers devices 命令得到推荐的nvidia驱动程序，

 然后执行  sudo apt-get install nvidia-driver-390 （根据提示的驱动程序而定）即可安装完成。

注意安装完成后需要重启。

         （后记：在操作一星期后，不知为何我安装的显卡驱动就不好使了，具体表现为系统默认采用内建显卡驱动程序，查看/proc/driver/nvidia/version失败，以及用Nvidia X Server Settings时无法显示显卡驱动信息。但用sudo ubuntu-drivers autoinstall命令行方式发现不需要安装或更新。经过无数次失败尝试后，最后选择从官网下载对应的驱动程序进行安装才恢复，具体教程还是可以参考 https://linuxconfig.org/how-to-install-the-nvidia-drivers-on-ubuntu-18-04-bionic-beaver-linux 的第三种安装方法。在安装前先删除之前的驱动：sudo apt purge nvidia-* | sudo apt autoremove）

2）. 安装gcc-4.8和g++-4.8。执行如下命令：

  sudo apt-get install gcc-4.8

 ll /usr/bin |grep gcc 若存在高版本的gcc，则继续

 cd /usr/bin

  sudo mv gcc gcc.bak 备份

  sudo ln -s gcc-4.8 gcc  重新指向

     执行gcc --version 可检查是否为4.8版本，g++可执行同样的操作。

 

    5. 安装CUDA和cuDNN

进入CUDA9.0的下载页，选择安装类型为runfile(local)，可发现有一个基础安装包，和三个补丁包，都下载下来，然后依次执行：

sudo sh cuda_9.0.176_384.81_linux.run

安装时会以提问的方式，一路默认即可，当第二个询问是否安装新驱动程序时，选择否

sudo sh cuda_9.0.176.1_linux.run

   sudo sh cuda_9.0.176.2_linux.run

sudo sh cuda_9.0.176.3_linux.run

结束后，可以在/usr/local/cuda-9.0 发现有安装文件，在/etc/profile或~/.bashrc的文件后面添加环境变量：

export PATH=/usr/local/cuda-9.2/bin${PATH:+:${PATH}}

export LD_LIBRARY_PATH=/usr/local/cuda-9.2/lib64${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}

　　

安装好CUDA9.0后，接下来就安装cuDNN，进入cuDNN下载页选择 cuDNN v7.0.5 Library for Linux 下载。

      执行如下命令：

　　tar -xzvf cudnn-9.0-linux-x64-v7.tgz

进入解压目录，执行：

　　sudo cp cuda/include/cudnn.h /usr/local/cuda/include

sudo cp cuda/lib64/libcudnn* /usr/local/cuda/lib64

sudo chmod a+r /usr/local/cuda/include/cudnn.h /usr/local/cuda/lib64/libcudnn*

这样就安装完成了。

 

6. 安装tensorflow-gpu

官方推荐通过Virtualenv来安装tensorflow-gpu，来进行项目隔离，这是在开发环境，如果在生产环境，可以走docker方式来部署。这里采用Virtualenv方式来安装，执行如下命令：

sudo apt-get install python3

sudo apt-get install python3-pip python3-dev python-virtualenv

安装完pip3、virtualenv后，可进入virtualenv安装tensorflow-gpu，执行如下命令：

mkdir -p ~/tensorflow/venv

virtualenv -p python3 ~/tensorflow/venv 创建virtualenv环境

cd ~/tensorflow/venv

source bin/activate 环境用的时候需要激活

pip3 install --index-url http://pypi.douban.com/simple --trusted-host pypi.douban.com --upgrade tensorflow-gpu 采用国内源下载tensorflow-gpu

最后通过 pip3 show tensorflow-gpu 可检查tensorflow-gpu的安装路径是否在该虚拟环境内，以隔绝与全局的site-packages

 

　　7. 检查结果

还是在上述virtualenv创建的根目录下，执行如下命令：

mkdir src && cd src

vi hello_tensorflow.py，内容如下：

　　import tensorflow as tf

　　hello = tf.constant(‘Hello, TensorFlow!‘)

　　sess = tf.Session()

　　 print(sess.run(hello))

最后执行该脚本：python3 hello_tensorflow.py 即可得到包含有GPU输出信息的正确结果