经验分享寒武纪MLU270 源码编译 pytorch-mlu

Posted 2021-08-02 极智视界

  本教程详细记录了寒武纪MLU270推理卡上docker环境中源码编译 pytorch-mlu 的方法。

  备注：首先你得通过各方途径获取到 pytorch-mlu docker 镜像，山穷水尽时你也可以悄悄联系我。

1、启动 docker

sudo docker run -it --privileged --net=host --ipc=host --pid=host -v /path/to/your/host:/opt/cambricon/src 容器名 /bin/bash

2、python 环境配置

  docker 内默认 python2.7，需将 python 及 pip 指向 docker 内置 python3.5。寒武纪 pytorch-mlu 操作均在虚拟环境中进行，首先需进入虚拟环境再修改 python 配置。

• 进入虚拟环境

cd ${PYTORCH_HOME}                          # ${PYTORCH_HOME}：/opt/cambricon/pytorch/src/pytorch
virtualenv --no-site-packages venv/pytorch  # 安装 virtualenv

source venv/pytorch/bin/activate            # 激活虚拟环境

• 修改python指向python3.5

# 查看python链接文件目录
which python

# 进入python链接文件目录并查看其现有软连接指向执行文件版本
ls -al python

# 删除现有链接文件
rm -rf python

# 建立新的软连接
ln -s /usr/bin/python3.5 python

# 查看 python 版本
python --version

• 修改pip指向 python3.5

apt update

apt install python3.5-venv

python get-pip.py

# 查看pip版本
pip --version

• get-pip.py： 传送门 提取码：6666

• pip 安装第三方依赖包（需注意版本对应）

pip install -r requirements.txt

3、系统环境配置

cd $HOME      # $HOME: /opt/cambricon

vim env.sh

​  添加如下内容：

# 添加cnml/cnrt/cnplugin共享库
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/neuware/lib64
ldconfig

# 添加模型路径
export TORCH_MODEL_ZOO="/opt/cambricon/pytorch/models"

  激活环境：

source env.sh

4、编译Cambricon Pytorch

cd ${PYTORCH_HOME}          # /opt/cambricon/pytorch/src/pytorch

rm -rf build

# 咱们开始编译源码了
bash make_pytorch_x86.sh

# 安装该版本对应的torchvision
pip install ${VISION_HOME}/dist/torchvision-*.whl      # /opt/cambricon/pytorch/src/vision/dist

5、编译结果确认

  打开 ${PYTORCH_HOME}/build/lib (/opt/cambricon/pytorch/src/pytorch/build/lib)，若编译生成了 libtorch_python.so 和 libtorch.so 等文件，则说明 Cambricon PyTorch 编译成功。

  进行验证：

# python
>>> import torch
>>> import torchvision

  收工~

扫描下方二维码即可关注我的微信公众号【极智视界】，获取更多AI经验分享，让我们用极致+极客的心态来迎接AI ！
在这里插入图片描述