Ubuntu 14.04 配置caffe环境

Posted

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Ubuntu 14.04 配置caffe环境相关的知识，希望对你有一定的参考价值。

原文地址：

http://blog.csdn.net/ubunfans/article/details/47724341

略有更改,更改的部分参考了http://www.cnblogs.com/platero/p/3993877.html

-----------------------------------------------------------------------------------

Caffe 安装配置步骤：


1， 安装开发所需的依赖包 （ok）

[plain] view plain copy print?
  1. sudo apt-get install build-essential  # basic requirement  
  2. sudo apt-get install libprotobuf-dev libleveldb-dev libsnappy-dev libopencv-dev libboost-all-dev libhdf5-serial-dev libgflags-dev libgoogle-glog-dev liblmdb-dev protobuf-compiler #required by caffe  

2，安装CUDA 7.0

验证过程省略，按照官方文档自己操作吧（遇到问题首先要看官方文档啊，血泪教训）

安装CUDA有两种方法，

离线.run安装：从官网下载对应版本的.run安装包安装，安装过程挺复杂，尝试过几次没成功，遂放弃。

在离线.deb安装：deb安装分离线和在线，我都尝试过都安装成功了，官网下载地址


安装之前请先进行md5校验，确保下载的安装包完整

切换到下载的deb所在目录，执行下边的命令
[plain] view plain copy print?
  1. sudo dpkg -i cuda-repo-<distro>_<version>_<architecture>.deb  
  2. sudo apt-get update  
  3. sudo apt-get install cuda  
然后重启电脑：sudo reboot
NOTE:装不成功卸了多来几遍，总会成的

3，安装cuDNN
下载cudnn-6.5-linux-x64-v2.tgz，官网申请不到，网上自己找的，就不给地址了。
[plain] view plain copy print?
  1. tar -zxvf cudnn-6.5-linux-x64-v2.tgz  
  2. cd cudnn-6.5-linux-x64-v2  
  3. sudo cp lib* /usr/local/cuda/lib64/  
  4. sudo cp cudnn.h /usr/local/cuda/include/  
更新软连接
[plain] view plain copy print?
  1. cd /usr/local/cuda/lib64/  
  2. sudo rm -rf libcudnn.so libcudnn.so.6.5  
  3. sudo ln -s libcudnn.so.6.5.48 libcudnn.so.6.5  
  4. sudo ln -s libcudnn.so.6.5 libcudnn.so  
上边的操作为什么这么做，不知道，原理是什么，不知道。等我知道了再来补充

4，设置环境变量
在/etc/profile中添加CUDA环境变量
sudo gedit /etc/profile
[plain] view plain copy print?
  1. PATH=/usr/local/cuda/bin:$PATH  
  2. export PATH  
保存后, 执行下列命令, 使环境变量立即生效
[plain] view plain copy print?
  1. source /etc/profile  
同时需要添加lib库路径： 在 /etc/ld.so.conf.d/加入文件 cuda.conf, 内容如下
[plain] view plain copy print?
  1. /usr/local/cuda/lib64  
保存后，执行下列命令使之立刻生效
[plain] view plain copy print?
  1. sudo ldconfig  

5，安装CUDA SAMPLE
进入/usr/local/cuda/samples, 执行下列命令来build samples
[plain] view plain copy print?
  1. sudo make all -j4  
整个过程大概10分钟左右, 全部编译完成后， 进入 samples/bin/x86_64/linux/release, 运行deviceQuery
[plain] view plain copy print?
  1. ./deviceQuery  
如果出现显卡信息， 则驱动及显卡安装成功：
[plain] view plain copy print?
  1. ./deviceQuery Starting...  
  2.   
  3.  CUDA Device Query (Runtime API) version (CUDART static linking)  
  4.   
  5. Detected 1 CUDA Capable device(s)  
  6.   
  7. Device 0: "GeForce GTX 670"  
  8.   CUDA Driver Version / Runtime Version          6.5 / 6.5  
  9.   CUDA Capability Major/Minor version number:    3.0  
  10.   Total amount of global memory:                 4095 MBytes (4294246400 bytes)  
  11.   ( 7) Multiprocessors, (192) CUDA Cores/MP:     1344 CUDA Cores  
  12.   GPU Clock rate:                                1098 MHz (1.10 GHz)  
  13.   Memory Clock rate:                             3105 Mhz  
  14.   Memory Bus Width:                              256-bit  
  15.   L2 Cache Size:                                 524288 bytes  
  16.   Maximum Texture Dimension Size (x,y,z)         1D=(65536), 2D=(65536, 65536), 3D=(4096, 4096, 4096)  
  17.   Maximum Layered 1D Texture Size, (num) layers  1D=(16384), 2048 layers  
  18.   Maximum Layered 2D Texture Size, (num) layers  2D=(16384, 16384), 2048 layers  
  19.   Total amount of constant memory:               65536 bytes  
  20.   Total amount of shared memory per block:       49152 bytes  
  21.   Total number of registers available per block: 65536  
  22.   Warp size:                                     32  
  23.   Maximum number of threads per multiprocessor:  2048  
  24.   Maximum number of threads per block:           1024  
  25.   Max dimension size of a thread block (x,y,z): (1024, 1024, 64)  
  26.   Max dimension size of a grid size    (x,y,z): (2147483647, 65535, 65535)  
  27.   Maximum memory pitch:                          2147483647 bytes  
  28.   Texture alignment:                             512 bytes  
  29.   Concurrent copy and kernel execution:          Yes with 1 copy engine(s)  
  30.   Run time limit on kernels:                     Yes  
  31.   Integrated GPU sharing Host Memory:            No  
  32.   Support host page-locked memory mapping:       Yes  
  33.   Alignment requirement for Surfaces:            Yes  
  34.   Device has ECC support:                        Disabled  
  35.   Device supports Unified Addressing (UVA):      Yes  
  36.   Device PCI Bus ID / PCI location ID:           1 / 0  
  37.   Compute Mode:  
  38.      < Default (multiple host threads can use ::cudaSetDevice() with device simultaneously) >  
  39.   
  40. deviceQuery, CUDA Driver = CUDART, CUDA Driver Version = 6.5, CUDA Runtime Version = 6.5, NumDevs = 1, Device0 = GeForce GTX 670  
  41. Result = PASS  
NOTE:上边的显卡信息是从别的地方拷过来的，我的GTX650显卡不是这些信息，如果没有这些信息，那肯定是安装不成功，找原因吧！

6，安装Intel MKL 或Atlas (ok)
我没有MKL，装的Atlas
安装命令：
[plain] view plain copy print?
  1. sudo apt-get install libatlas-base-dev  

7，安装OpenCV

这个尽量不要手动安装， Github上有人已经写好了完整的安装脚本：https://github.com/jayrambhia/Install-OpenCV

下载该脚本，进入Ubuntu/2.4 目录, 给所有shell脚本加上可执行权限

chmod +x *.sh

然后安装最新版本 （当前为2.4.9）

sudo ./opencv2_4_9.sh

脚本会自动安装依赖项，下载安装包，编译并安装OpenCV。整个过程大概半小时左右。 

注意，中途可能会报错

opencv-2.4.9/modules/gpu/src/nvidia/core/NCVPixelOperations.hpp(51): error: a storage class is not allowed in an explicit specialization

解决方法在此：http://code.opencv.org/issues/3814  下载 NCVPixelOperations.hpp 替换掉opencv2.4.9内的文件， 重新build。


8，安装Caffe所需要的Python环境
按caffe官网的推荐使用Anaconda
去Anaconda官网下载安装包
切换到文件所在目录，执行
[plain] view plain copy print?
  1. bash Anaconda-2.3.0-Linux-x86_64.s<em>h</em>  
NOTE:后边的文件名按自己下的版本号更改，整个安装过程请选择默认

  8.1，添加Anaconda Library Path
在/etc/ld.so.conf最后加入以下路径，并没有出现重启不能进入界面的问题(NOTE:下边的username要替换)
 
[plain] view plain copy print?
  1. /home/username/anaconda/lib  
在~/.bashrc最后添加下边路径
[plain] view plain copy print?
  1. export LD_LIBRARY_PATH="/home/username/anaconda/lib:$LD_LIBRARY_PATH"  



9，安装python依赖库
去caffe的github下载caffe源码包
进入caffe-master下的python目录
执行如下命令
[plain] view plain copy print?
  1. for req in $(cat requirements.txt); do pip install $req; done  

10，安装MATLAB

Caffe提供了MATLAB接口， 有需要用MATLAB的同学可以额外安装MATLAB。 安装教程请自行搜索。 

安装完成后添加图标 http://www.linuxidc.com/Linux/2011-01/31632.htm

sudo vi /usr/share/applications/Matlab.desktop

输入以下内容

技术分享
[Desktop Entry]
Type=Application
Name=Matlab
GenericName=Matlab 2010b
Comment=Matlab:The Language of Technical Computing
Exec=sh /usr/local/MATLAB/R2010b/bin/matlab -desktop
Icon=/usr/local/MATLAB/Matlab.png
Terminal=false
Categories=Development;Matlab;
技术分享

 

(I use the R2013b patched package. First you should uncompress the .iso file. Then use sudo cp to copy the patch file)


 
11，编译Caffe
终于来到这里了
进入caffe-master目录，复制一份Makefile.config.examples
[plain] view plain copy print?
  1. cp Makefile.config.example Makefile.config  
修改其中的一些路径，如果前边和我说的一致，都选默认路径的话，那么配置文件应该张这个样子
[plain] view plain copy print?
  1. ## Refer to http://caffe.berkeleyvision.org/installation.html  
  2. # Contributions simplifying and improving our build system are welcome!  
  3.   
  4. # cuDNN acceleration switch (uncomment to build with cuDNN).  
  5. # USE_CUDNN := 1  
  6.   
  7. # CPU-only switch (uncomment to build without GPU support).  
  8. # CPU_ONLY := 1  
  9.   
  10. # To customize your choice of compiler, uncomment and set the following.  
  11. # N.B. the default for Linux is g++ and the default for OSX is clang++  
  12. # CUSTOM_CXX := g++  
  13.   
  14. # CUDA directory contains bin/ and lib/ directories that we need.  
  15. CUDA_DIR := /usr/local/cuda  
  16. # On Ubuntu 14.04, if cuda tools are installed via  
  17. # "sudo apt-get install nvidia-cuda-toolkit" then use this instead:  
  18. # CUDA_DIR := /usr  
  19.   
  20. # CUDA architecture setting: going with all of them.  
  21. # For CUDA < 6.0, comment the *_50 lines for compatibility.  
  22. CUDA_ARCH := -gencode arch=compute_20,code=sm_20 \  
  23.         -gencode arch=compute_20,code=sm_21 \  
  24.         -gencode arch=compute_30,code=sm_30 \  
  25.         -gencode arch=compute_35,code=sm_35 \  
  26.         -gencode arch=compute_50,code=sm_50 \  
  27.         -gencode arch=compute_50,code=compute_50  
  28.   
  29. # BLAS choice:  
  30. # atlas for ATLAS (default)  
  31. # mkl for MKL  
  32. # open for OpenBlas  
  33. BLAS := atlas  
  34. # Custom (MKL/ATLAS/OpenBLAS) include and lib directories.  
  35. # Leave commented to accept the defaults for your choice of BLAS  
  36. # (which should work)!  
  37. # BLAS_INCLUDE := /path/to/your/blas  
  38. # BLAS_LIB := /path/to/your/blas  
  39.   
  40. # Homebrew puts openblas in a directory that is not on the standard search path  
  41. # BLAS_INCLUDE := $(shell brew --prefix openblas)/include  
  42. # BLAS_LIB := $(shell brew --prefix openblas)/lib  
  43.   
  44. # This is required only if you will compile the matlab interface.  
  45. # MATLAB directory should contain the mex binary in /bin.  
  46. # MATLAB_DIR := /usr/local  
  47. # MATLAB_DIR := /Applications/MATLAB_R2012b.app  
  48.   
  49. # NOTE: this is required only if you will compile the python interface.  
  50. # We need to be able to find Python.h and numpy/arrayobject.h.  
  51. #PYTHON_INCLUDE := /usr/include/python2.7 \  
  52.         /usr/lib/python2.7/dist-packages/numpy/core/include  
  53. # Anaconda Python distribution is quite popular. Include path:  
  54. # Verify anaconda location, sometimes it‘s in root.  
  55.  ANACONDA_HOME := $(HOME)/anaconda  
  56.  PYTHON_INCLUDE := $(ANACONDA_HOME)/include \  
  57.          $(ANACONDA_HOME)/include/python2.7 \  
  58.          $(ANACONDA_HOME)/lib/python2.7/site-packages/numpy/core/include \  
  59.   
  60. # We need to be able to find libpythonX.X.so or .dylib.  
  61. #PYTHON_LIB := /usr/lib  
  62. PYTHON_LIB := $(ANACONDA_HOME)/lib  
  63.   
  64. # Homebrew installs numpy in a non standard path (keg only)  
  65. # PYTHON_INCLUDE += $(dir $(shell python -c ‘import numpy.core; print(numpy.core.__file__)‘))/include  
  66. # PYTHON_LIB += $(shell brew --prefix numpy)/lib  
  67.   
  68. # Uncomment to support layers written in Python (will link against Python libs)  
  69. # WITH_PYTHON_LAYER := 1  
  70.   
  71. # Whatever else you find you need goes here.  
  72. INCLUDE_DIRS := $(PYTHON_INCLUDE) /usr/local/include  
  73. LIBRARY_DIRS := $(PYTHON_LIB) /usr/local/lib /usr/lib  
  74.   
  75. # If Homebrew is installed at a non standard location (for example your home directory) and you use it for general dependencies  
  76. # INCLUDE_DIRS += $(shell brew --prefix)/include  
  77. # LIBRARY_DIRS += $(shell brew --prefix)/lib  
  78.   
  79. # Uncomment to use `pkg-config` to specify OpenCV library paths.  
  80. # (Usually not necessary -- OpenCV libraries are normally installed in one of the above $LIBRARY_DIRS.)  
  81. # USE_PKG_CONFIG := 1  
  82.   
  83. BUILD_DIR := build  
  84. DISTRIBUTE_DIR := distribute  
  85.   
  86. # Uncomment for debugging. Does not work on OSX due to https://github.com/BVLC/caffe/issues/171  
  87. # DEBUG := 1  
  88.   
  89. # The ID of the GPU that ‘make runtest‘ will use to run unit tests.  
  90. TEST_GPUID := 0  
  91.   
  92. # enable pretty build (comment to see full commands)  
  93. Q ?= @  

保存退出
编译
[plain] view plain copy print?
  1. make all -j4  
  2. make test  
  3. make runtest  

12，编译Python wrapper

[plain] view plain copy print?
  1. make  pycaffe  

到这里就基本结束了，跑个自带的例子测试一下吧！

 

以上是关于Ubuntu 14.04 配置caffe环境的主要内容，如果未能解决你的问题，请参考以下文章

Ubuntu 14.04 64位配置Caffe 教程（基于CUDA 7.5）

ubuntu14.04 + cuda8.0 + cudnnv5 + caffe + py-faster-rcnn配置

Caffe初学者第一部：Ubuntu14.04上安装caffe(CPU）+Python的详细过程 (亲测成功, 20180524更新)

faster-rcnn(testing): ubuntu14.04+caffe+cuda7.5+cudnn5.1.3+opencv3.0+matlabR2014a环境搭建记录

64位双系统Ubuntu 14.04 LTS + Caffe + CUDA 7.5 + Opencv 3.0 安装配置实战

ubuntu14.04安装caffe+python接口