Ubuntu16.04+cuda8.0rc+opencv3.1.0+caffe+Theano+torch7搭建教程

Posted 2020-12-05 mydddfly

https://blog.csdn.net/jywowaa/article/details/52263711

学习中用到深度学习的框架，需要搭建caffe、theano和torch框架。经过一个月的不懈奋战，终于搭建好了框架。现在分享简单的搭建过程，为后面要用到深度学习框架的同学节省时间，写了这个博客。因为框架的搭建过程会出现各种问题，不同的硬件（如笔记本、台式机）、不同的软件（如依赖库、编译器）和软件的版本（如编译器版本不同，编译框架时会找不到依赖库路径）之间有上百种组合，网络中遇到问题的情况可能与你的问题情况相同，但是解决办法就是解决不了你的问题。所以，要有耐心多百度、谷歌尝试解决方法，一定能够解决的（耗时长，很坑，但是收获颇多 233），教程仅供参考。博主正在游向岸边的路上，若有错误还请海涵，共同学习！

 

网上很多博客已经写了如何搭建的教程，因为搭建的过程中参考了很多博客和官方教程，所以在这里写下自己在笔记本上搭建的教程吧，适合随时在自己本上调程序的小伙伴们。先说一下我的本本型号：华硕的U303L，显卡NVIDIA GT840M（貌似不支持cudnn加速），其他详细配置请自行网上搜索。

 

第一部分 系统安装

版本Ubuntu16.04。这里省略安装过程，请自行网上搜索安装过程。

 

第二部分 显卡驱动和cuda8.0rc的安装

1、显卡驱动安装

我这里是运用ppa更新的最新驱动，使用起来能够得到挺好的体验，并能够实现双显卡的自由切换。

首先，通过快捷键Ctrl+Alt+T打开终端，然后加入官方ppa源：

$ sudo add-apt-repository ppa:graphics-drivers/ppa

需要输入用户密码，并确认链接源。之后刷新软件库并安装最新的驱动，在命令行输入：

$ sudo apt-get update

然后打开Ubuntu系统设置-》软件和更新-》附加驱动，选择最新版的显卡装有驱动，系统会自动安装好显卡驱动，然后重启系统便会切换到独显。网上好多是下载官方的显卡驱动很容易出现安装完无法登陆系统、登陆界面死循环、或者重启后黑屏。所以建议本方法。

安装成功后可以通过下面命令查看：（由于篇幅，截图省略）

$ nvidia-settings

2、cuda8.0rc安装与配置

cuda8.0rc下载请自行到官网下载，建议下载runfile(local)类型，下载完要进行md5校验，保证安装包不出问题。

后面用到的工具：（vim安装：终端输入$ sudo apt-get install vim 即可）

然后，退出GUI，也就是X-Win界面，操作方法是：同时按：CTRL+ALT+F1（F2-F6），切换到TTY1-6命令行模式。登陆root用户，关闭桌面服务：

# service lightdm stop

再输入以下指令：

# vim /etc/modprobe.d/blacklist.conf

在文件最后面，添加这句：

blacklist nouveau

重启，然后进入TTY1，登陆root用户：

1.  
   # chmod +x cuda*.run #获取文件权限
2.  
   # ./cuda*.run #执行文件安装

在选择条件的过程中，一定不要再次安装nvidia驱动，否则之前安装的显卡驱动就坏了。

特别注意：这里所有的编译都用Ubuntu自带编译器GCC和G++版本编译，不要进行降级，就不会导致后面编译caffe出现找不到依赖库的错误。等待cuda安装完成。

配置环境变量：

# vim /etc/profile

在文件末尾添加这句：

1.  
   PATH=/usr/local/cuda/bin:$PATH
2.  
   export PATH

保存退出，按esc，再输入“:wq”即可。

输入命令：

# source /etc/profile

使其生效

输入命令：

# vim /etc/ld.so.conf.d/cuda.conf

添加内容：

 /usr/local/cuda/lib64

输入命令：

# ldconfig

使其生效

cuda验证测试

测试cuda是否安装成功：

# cd /usr/local/cuda/samples

编译例子：

# make all -j2   (我的本本是双核CPU，所以-j2都用上加快编译速度)

运行编译可执行结果文件，cd到/usr/local/cuda/samples/x86_64/linux/release，输入：

# ./deviceQuery

最后测试通过

 

第三部分 OpenCV3.1.0安装与配置

首先安装必要的库，有的依赖库我是已经安装过的，具体安装的先后关系已经忘了。如果出现有些依赖关系不满足的错误，可以再安装库：

1.  
   $ sudo apt-get -y remove ffmpeg x264 libx264-dev
2.  
   $ sudo apt-get -y install libopencv-dev build-essential checkinstall cmake pkg-config yasm libtiff4-dev libjpeg-dev libjasper-dev libavcodec-dev libavformat-dev libswscale-dev libdc1394-22-dev libxine-dev libgstreamer0.10-dev libgstreamer-plugins-base0.10-dev libv4l-dev x264 v4l-utils ffmpeg libgtk2.0-dev

根据官网上的链接下载OpenCV3.1.0版本，并进行解压，解压之后进入安装文件目录:

 

1.  
   $ mkdir OpenCV
2.  
   $ cd OpenCV

 

建立要编译的build目录，然后进入build目录进行编译：

1.  
   $ mkdir build
2.  
   $ cd build
3.  
   $ cmake -D CMAKE_BUILD_TYPE=RELEASE -D CMAKE_INSTALL_PREFIX=/usr/local -D WITH_TBB=ON -D BUILD_NEW_PYTHON_SUPPORT=ON -D WITH_V4L=ON -D INSTALL_C_EXAMPLES=ON -D INSTALL_PYTHON_EXAMPLES=ON -D BUILD_EXAMPLES=ON -D WITH_QT=ON -D WITH_OPENGL=ON ..

在configure过程中过程中，可能会出现下面的错误：ICV: Downloading ippicv_linux_20151201.tgz…

在直接下载该文件的过程中，会因为超时而失败，可以下载ippicv_linux_20151201.tgz, 并替换掉 opencv-3.1.0/3rdparty/ippicv/downloads/linux-8b449a536a2157bcad08a2b9f266828b下的同名文件，然后再次cmake即可。生成编译文件之后，在opencv-3.1.0/build目录下，终端输入：

1.  
   $ make -j2
2.  
   $ sudo make install

安装好以后配置环境变量，使其生效：

1.  
   $ sudo sh -c ‘echo "/usr/local/lib" > /etc/ld.so.conf.d/opencv.conf‘
2.  
   $ sudo ldconfig

特别注意：这里所有的编译都用Ubuntu自带编译器GCC和G++版本编译，不要进行降级，就不会导致后面编译caffe出现找不到依赖库的错误。等待安装完成

编译opencv3.1.0时可能会出现trying to build v3.1 opencv with cuda support. standard cmake. project of: opencv_cudalegacy not compile -- nppiGraphcut missing的报错，解决方法如下：

try this: in graphcuts.cpp (where your error is thrown) change this:

1.  
   #include "precomp.hpp"
2.  
   #if !defined (HAVE_CUDA) || defined (CUDA_DISABLER)

to this:

1.  
   #include "precomp.hpp"
2.  
   #if !defined (HAVE_CUDA) || defined (CUDA_DISABLER) || (CUDART_VERSION >= 8000)

because graphcuts is not supported directly with CUDA8 anymore.

 

第四部分 Python安装和调试

python的安装有两种方式：一种是系统自带的python，只需再安装相应的库即可；第二种是直接安装anaconda，很多相应的库已经包含了。第一种直接安装库文件比较简单，不需要修改相应的包含路径和库文件。

第一种如下，第二种（略）：

首先通过下面的命令安装pip，pip是Python的一个安装和管理扩展库的工具。

$ sudo apt-get install python-pip

安装完毕之后，请输入ipython命令测试是否能正常启动。为了让IPython notebook工作，还还需要安装tornado和pyzmq：

1.  
   $ sudo pip install tornado pyzmq pygments
2.  
   $ sudo apt-get install libzmq-dev

使用iPyhthon NoteBook（基于浏览器的Python IDE），特别是适合需要用Python做教程的老师们，可以直接导出.py, .ipynb, html格式，安装步骤如下：

$ sudo ipython notebook

启动(自动打开浏览器)：$ ipython nootbook

通过apt-get命令可以快速安装这几个库：

$ sudo apt-get install python-numpy python-scipy python-matplotlib python-qt4 qt4-designer pyqt4-dev-tools python-qt4-doc spyder cython swig python-sklearn python-skimage python-h5py python-protobuf python-leveldb python-networkx python-nose python-pandas python-gflags ipython protobuf-c-compiler protobuf-compiler

 

第五部分 caffe的安装与配置

首先，安装caffe必要的库文件:

1.  
   $ sudo apt-get update
2.  
   $ sudo apt-get install build-essential cmake git pkg-config libprotobuf-dev libleveldb-dev libsnappy-dev libopencv-dev libhdf5-serial-dev protobuf-compiler libgflags-dev libgoogle-glog-dev liblmdb-dev python-dev
3.  
   $ sudo apt-get install --no-install-recommends libboost-all-dev

执行完以上的语句之后，基本的依赖库就安装完成了

安装BLAS，使用如下的语句自动安装BLAS（当然，你可以选择其他的库） ，执行：

$ sudo apt-get install libatlas-base-dev

修改配置文件，进入到caffe的根目录，执行：

$ cp Makefile.config.example Makefile.config

打开makefile.config对其进行修改，makefile.config修改内容内容如下（未配置cudnn加速）：

1.  
   <pre name="code" class="html">注释第5行的 USE_CUDNN := 1
2.  
   去掉注释第21行的 OPENCV_VERSION := 3

添加路径

1.  
   在 INCLUDE_DIRS := $(PYTHON_INCLUDE) /usr/local/include 后面添加 /usr/include /usr/include/hdf5/serial
2.  
   在 LIBRARY_DIRS := $(PYTHON_LIB) /usr/local/lib /usr/lib 后面添加 /usr/lib/x86_64-linux-gnu/hdf5/serial
3.  
   实现caffe对Python和Matlab接口的支持 PYTHON_LIB := /usr/local/lib

到这里，整个配置文件修改完毕，可以开始编译了，

1.  
   $ make all -j2
2.  
   $ make test -j2
3.  
   $ make runtest -j2

编译Python用到的caffe文件

$ make pycaffe -j2

cuda8.0编译器问题，打开/usr/local/cuda/include/host_config.h 注释掉：

error -- unsupported GNU version! gcc versions later than 5.3 are not supported!

结果如下：

1.  
   #if __GNUC__ > 5 || (__GNUC__ == 5 && __GNUC_MINOR__ > 3)
2.  
   //#error -- unsupported GNU version! gcc versions later than 5.3 are not supported!
3.  
   #endif /* __GNUC__ > 5 || (__GNUC__ == 5 && __GNUC_MINOR__ > 1) */

caffe框架到此已安装完毕，尽情看源码吧！

 

第六部分 theano安装与配置

直接输入命令：

$ sudo pip install theano

配置参数文件：.theanorc

在终端输入命令：

$ sudo vim ~/.theanorc 

输入“i”进入insert模式。输入一下内容：

1.  
   [global]
2.  
   openmp=False
3.  
   device=gpu
4.  
   floatX=float32
5.  
   allow_input-downcast=True
6.  
   [blas]
7.  
   ldflags=
8.  
   [nvcc]
9.  
   flags=-D_FORCE_INLINES

输入完毕，按‘Esc’退出，输入‘:wq’，回车。配置完成！

运行测试例子，新建一空白文档将以下代码复制进去，改后缀test.py：

1.  
   from theano import function, config, shared, sandbox
2.  
   import theano.tensor as T
3.  
   import numpy
4.  
   import time
5.  
   vlen = 10 * 30 * 768 # 10 x #cores x # threads per core
6.  
   iters = 1000
7.  
   rng = numpy.random.RandomState(22)
8.  
   x = shared(numpy.asarray(rng.rand(vlen), config.floatX))
9.  
   f = function([], T.exp(x))
10.  
    print(f.maker.fgraph.toposort())
11.  
    t0 = time.time()
12.  
    for i in range(iters):
13.  
    r = f()
14.  
    t1 = time.time()
15.  
    print("Looping %d times took %f seconds" % (iters, t1 - t0))
16.  
    print("Result is %s" % (r,))
17.  
    if numpy.any([isinstance(x.op, T.Elemwise) for x in f.maker.fgraph.toposort()]):
18.  
    print(‘Used the cpu‘)
19.  
    else:
20.  
    print(‘Used the gpu‘)

在终端运行

$ python test.py

可以看到结果如下，完成安装。

1.  
   /usr/bin/python2.7 /home/hjimce/PycharmProjects/untitled/.idea/temp.py
2.  
   Using gpu device 0: GeForce 840M (CNMeM is disabled, cuDNN not available)
3.  
   [GpuElemwise{exp,no_inplace}(<CudaNdarrayType(float32, vector)>), HostFromGpu(GpuElemwise{exp,no_inplace}.0)]
4.  
   Looping 1000 times took 0.302778 seconds
5.  
   Result is [ 1.23178029 1.61879349 1.52278066 ..., 2.20771813 2.29967761
6.  
   1.62323296]
7.  
   Used the gpu

至此Theano环境 搭建完成

 

第七部分 char-cnn+torch 安装过程

安装Torch7 的依赖项

1.  
   $ sudo apt-get install curl
2.  
   $ curl -sk https://raw.githubusercontent.com/torch/ezinstall/master/install-deps | bash

安装 torch distribution

1.  
   $ git clone https://github.com/torch/distro.git ~/torch --recursive
2.  
   $ cd ~/torch; ./install.sh

执行下列命令，使得安装过程中被更改的PATH生效：

$ source ~/.bashrc

执行下列命令查看torch 是否安装成功:

1.  
   $ th
2.  
   $ totch.Tensor{1,2,3}

如果不使用torch，可以使用下列命令卸载：$ rm -rf ~/torch

可以使用luarocks命令安装其他的torch包：

1.  
   $ luarocks install image
2.  
   $ luarocks list

至此Torch 环境 搭建完成

运行char-cnn，安装必要的包：

1.  
   $ luarocks install nngraph
2.  
   $ luarocks install optim

参考资料（感谢网络博主的分享学习，共同进步）：

1、在Ubuntu中安装Python科学计算环境http://hyry.dip.jp/tech/slice/slice.html/24/

2、Ubuntu 15.10配置Caffe+Cuda7.5+Cudnn的详细过程http://blog.sina.com.cn/s/blog_a5fdbf010102w7f6.html

3、深度学习（四十一）cuda8.0+ubuntu16.04+theano、caffe、tensorflow环境搭建http://blog.csdn.net/hjimce/article/details/51999566

4、Ubuntu16.04+matlab2014a+anaconda2+OpenCV3.1+caffe安装http://itfish.net/article/62996.html#

5、Caffe & Theano安装教程——ubuntu16.04系统http://blog.csdn.net/yahag/article/details/51968004

6、char-cnn+torch+ubuntu16.04(RNN) 安装过程http://blog.csdn.net/jeff_liu_sky_/article/details/51649084