深度学习多机多卡解决方案-purine

Posted 2020-06-26 zhxfl

未经允许请不要转载，原作者：zhxfl，http://www.cnblogs.com/zhxfl/p/5287644.html

目录：

一、简介

二、环境配置

三、运行demo

四、硬件配置建议

五、其他

 

一、简介

深度学习多机多卡集群已经成为主流，相对于caffe和mxnet这两个比较活跃的开源，purine显得更值得在高校的学生细读，因为purine的代码显得更加短小精悍，作者的C++功力也相当浑厚，其采用的思想也是非常有价值和启发性的。但是purine已经停止维护，所以其实并不适合企业用户，但是依然有很大的学术价值，特别适合高校研究软件体系结构，深度学习，甚至机器学习GPU集群性能优化等方向的学生阅读。

二、环境配置

2.1、支持C++11

由于purine使用了C++11的标准，所以在ubuntu执行安装gcc-4.8和g++-4.8的命令，此外，为了避免多个版本冲突的问题，可以把其他版本的都卸载掉，免得要去管理和切换编译器的版本。这里我选的是gcc-4.8

1 sudo apt-get --yes --force-yes remove gcc-4.6 g++-4.6 gcc-4.7 g++-4.7 gcc-4.9 g++-4.9
2 sudo apt-get update
3 sudo apt-get --yes --force-yes install gcc-4.8 g++-4.8
4 sudo apt-get --yes --force-yes install gfortran

2.2、安装CUDA和CUDNN

这里我使用的是CUDA-7.0版本，目前知道的是支持的版本有（6.5，7.0，7.5）。需要注意的是，如果安装了其他版本的CUDA，需要先卸载原来版本的CUDA才能安装新的，避免冲突。
卸载CUDA的方法如下：

1 sudo perl /usr/local/cuda/bin/uninstall_cuda_7.5.pl

卸载完原来版本的CUDA之后，需要卸载ubuntu自带的驱动，因为CUDA的安装包中已经自带了相应的驱动。

1 sudo apt-get --yes --force-yes remove nvidia*

由于桌面会占用驱动导致CUDA无法安装显卡驱动，所以在安装CUDA之前，需要先关闭桌面，再执行CUDA的安装包，cuda的安装包可以从官方网站下载：https://developer.nvidia.com/cuda-downloads

1 sudo /etc/init.d/lightdm stop
2 sudo sh ./cuda_7.5.18_linux.run

接下来需要配置cudnn，cudnn是NVIDIA官方维护的深度学习加速库，在某种程度上将，这个库的性能是最快的，所以purine也借用了cudnn来优化性能。cudnn下载前要先注册和申请，稍微比较麻烦一点，地址如下：https://developer.nvidia.com/cudnn，我使用的是cudnn7.0的版本，直接解压然后把对应的文件拷贝到cuda的安装目录即可。

1 sudo tar -xvf ./cudnn-7.0-linux-x64-v3.0-prod.tgz
2 sudo mv ./cuda/include/* /usr/local/cuda/include/
3 sudo mv ./cuda/lib64/* /usr/local/cuda/lib64/
4 sudo rm -rf cuda/

2.3、安装libuv

libuv是一个异步编程的C++库，通过libuv可以很容易实现“事件”，“线程同步”，“线程等待”，“线程池”等逻辑。libuv是个开源库，可以现在源码下来编译：https://github.com/libuv/libuv，我使用的是1.x的版本。

先安装libuv依赖库：

1 sudo apt-get --yes --force-yes install aptitude
2 sudo apt-get --yes --force-yes install libtool automake autoconf autogen

解压下载的安装包进行编译和安装：

 1 echo "Install libuv"
 2 rm -rf ./libuv-1.x.zi
 3 sudo unzip libuv-1.x.zip
 4 cd ./libuv-1.x/
 5 sudo sh autogen.sh
 6 sudo ./configure/
 7 sudo make -j4
 8 sudo make install
 9 cd ../
10 rm -rf ./libuv-1.x/

2.4、CMake安装

CMake是一个跨平台组织编译依赖的工具，可以下载源码进行安装编译，建议使用3.3.2或者以上的版本，一方面是因为我验证过了，第二方面是因为CMAKE对CUDA的支持较晚，建议不要使用3.3.2以下的版本，避免做无用功，CMAKE下载地址https://cmake.org/

1 echo "cmake install"
2 rm -rf ./cmake-3.3.2
3 sudo tar -xvf ./cmake-3.3.2.tar.gz
4 cd ./cmake-3.3.2/
5 ./configure
6 make -j 4
7 sudo make install
8 cd ../
9 rm -rf ./cmake-3.3.2

2.5、安装opencv

opencv是一个图像处理的库，caffe和purine依赖于这个库，建议选择3.0以上的版本，http://opencv.org/downloads.html，这里我使用的是3.0版本，并且使用源码进行编译，此外，建议关闭WITH_CUDA 和 WITH_IPP，因为这两个实际上在purine的项目里面用不上，命令如下：

 1 echo "Install opencv"
 2 sudo apt-get remove libopencv-dev
 3 rm -rf opencv-3.0.0/
 4 sudo unzip ./opencv-3.0.0.zip
 5 cd ./opencv-3.0.0/
 6 cmake -D WITH_CUDA=OFF -D WITH_IPP=OFF .
 7 make -j 4
 8 sudo make install
 9 cd ../
10 rm -rf opencv-3.0.0/

2.6、安装MPI

MPI是一套并行编程的接口，其主要是依赖于SPMD（单个程序，多个数据流，具体到集群就是每个节点所处理的逻辑都是一样的，但是数据流不一样）思想进行编程设计的，由于purine只支持mpich，所以我使用的版本是mpich-3.2b4，地址如下：https://www.mpich.org/2015/07/25/mpich-3-2b4-released/

1 echo "Install mpich"
2 rm -rf ./mpich-3.2b4/
3 tar -xvf ./mpich-3.2b4.tar.gz
4 cd ./mpich-3.2b4/
5 ./configure
6 make -j 4
7 sudo make install
8 cd ../
9 rm -rf ./mpich-3.2b4/

2.7、其他依赖：

1 #sudo apt-get --yes --force-yes install libprotobuf-dev libleveldb-dev libsnappy-dev libboost-all-dev libhdf5-serial-dev libgflags-dev libgoogle-glog-dev liblmdb-dev protobuf-compiler
2 sudo apt-get --yes --force-yes install libprotobuf-dev libgflags-dev libgoogle-glog-dev liblmdb-dev protobuf-compiler libboost-dev
3 sudo apt-get --yes --force-yes install libatlas-base-dev libatlas3gf-base
4 sudo apt-get install libatlas-base-dev libatlas3gf-base

三、运行demo

3.1 编译

先从git上把代码拉下来，原作者的官网在https://github.com/purine/purine2，但是原来git上的工程不能编译通过，其发布的CMakeList.txt有一些bug导致无法编译。也可以使用我fork的分支https://github.com/zhxfl/purine2，我的分支将cmakelist.txt做了修改保证其能正常编译。我后续还在上面做了不少改进的尝试，不过都是增量维护的，并没有曲解作者的初衷，所以可以放心使用我的分支代码。

1 git clone https://github.com/zhxfl/purine2

代码下载下来之后,使用下面命令进行编译，如果这里"cmake ."命令没有顺利通过，可以联系我"zhxfl##mail.ustc.edu.cn"，将“##”替换为@，可能是我前面描述少了导致某些依赖出了问题。

1 cd purine2/
2 cmake .
3 make -j2

3.2 demo数据库制作

这里选用cifar-10数据集，运行

1 ~/tmp/purine2/data/cifar-10/get_cifar10.sh

到purine根目录下执行cifar10_data生成数据库，代码如下，这里强调一下，因为代码利用的是相对目录，所以必须在purine2/目录下执行，执行完毕之后会在purine2/data/cifar-10目录下会生成两个数据库文件cifar-10-train-lmdb和cifar-10-test-lmdb两个目录。

./test/cifar10_data

3.3 单机多卡

 运行demo之前，需要先配置两个文件，parallel_config文件中加入

0 0 64
0 1 64

这三个参数分别表示（机器编号，显卡标号，迭代对应的batch_size）

接下来要配置一下HOSTFILE文件，填入本机的IP地址，一个地址一行，接下来使用如下命令启动purine运行，该命令表示启动两个进程，

mpirun -n 1 -hostfile HOSTFILE ./test/nin_cifar10

3.4 多机多卡

1、在进行多机多卡之前，在不同机器之间配置一下ssh无密码认证。

2、确认不同机器之间已经可以无密码认证之后，先配置一下每台机器上的hosts文件，给每个机器取一个名字，比如我们有两个节点，分别为A，B，其中A上面有两块显卡。那么parallel_config文件配置如下：

0 0 64
0 1 64
1 0 64

HOSTFILE

A
B

将这两个配置文件拷贝到不同机器的purine目录下，这里要保证每台机器都有purine目录，并且其可执行文件都是一样的，此外，由于我们没有分布式文件系统，所以必须保证每台机器上都有数据。

接下来执行如下命令：

mpirun -n 2 -hostfile HOSTFILE ./test/nin_cifar10

此外，所有log都保存在系统/tmp/目录下

四、硬件配置建议

如果是用于学术研究而不是商业化，推荐一个经济实惠的硬件方案：

1、显卡：titianx显卡2个，gtx98ti也可以，

2、主板可以选可以插几块显卡的，一般也就几千块钱，如“技嘉LGA2011-3 GA-X99”

机箱和电源什么让供应商配就行了，整个解决方案可以控制在2,3w之间。

五、其他

如果你不是研究集群性能的，只是有做做实验，甚至希望在windows上进行开发和研究，

可以考虑我们实验室的其他开源CUDA-CNN和CUDA-MCDNN，我们大部分修改算法的尝试都是在这两个项目上进行的。

如果有其他问题，可以联系我：zhxfl##mail.ustc.edu.cn