模型推理ubuntu和win10中源码编译tvm

Posted 2021-07-22 极智视界

    本教程详细记录了在ubuntu和windows10中源码编译tvm的方法。

Ubuntu中安装tvm

1 从github clone源码

git clone --recursive https://github.com/apache/tvm tvm

2 安装一些依赖

sudo apt-get update
sudo apt-get install -y python3 python3-dev python3-setuptools gcc libtinfo-dev zlib1g-dev build-essential cmake libedit-dev libxml2-dev

3 开始编译

cd tvm
mkdir build
cp cmake/config.cmake build

• 在config.cmake中需要改一些配置：

  • 若需要使用cuda，则将 set(USE_CUDA_OFF) 设置为 set(USE_CUDA_ON)
  • 其他的开关(如 OpenCL, RCOM, METAL, VULKAN, …) 配置根据需要
  • 如果需要辅助调试，则可以打开开关：set(USE_GRAPH_EXECUTOR ON) 和 set(USE_PROFILER ON)

• 配置 LLVM

  • 修改 build/config.cmake 添加 set(USE_LLVM /path/to/your/llvm/bin/llvm-config)
  • 也可以设置 set(USE_LLVM ON) 让cmake自动去检索LLVM
  • LLVM 下载链接：http://releases.llvm.org/download.html

• 开始编译

cd build
cmake ..
make -j32

4 安装python接口

cd python
python setup.py install

Win10中安装tvm

1 安装LLVM

​ LLVM 下载链接： https://releases.llvm.org/download.html

• 1) Pre-Built Binaries 安装
  

• 2) LLVM 源码安装
  

  • 1> 进入llvm目录 mkdir build，cd build；

  • 2> 运行以下命令：

    cmake -G "Visual Studio 15 2017 Win64" .. -Thost=x64 -DLLVM_ENABLE_PROJECTS=clang
    

  • 3> 打开vs工程 tvm.sln，编译 release x64

    ​ 编译完成后就把Release目录下的所有东西复制到预编译的LLVM的安装位置。然后把源代码include目录下所有东西复制到预编译的LLVM的安装位置的include目录下。

2 tvm源码编译

​ 将cmake中的config.cmake复制到build中，config.cmake需要修改的是set （USE_CUDA ON），set(USE_LLVM “llvm中llvm-config目录(预编译llvm/bin/llvm-config.exe)”)，然后运行以下命令获得vs项目。

cmake -G "Visual Studio 15 2017 Win64" -DCMAKE_BUILD_TYPE=Release -DCMAKE_CONFIGURATION_TYPES=Release .. 

​ 打开vs工程，编译 release x64。

3 python 接口安装 (windows上python版本3.8以上)

cd tvm
cd python
python setup.py install

  扫描下方二维码即可关注我的微信公众号【极智视界】，获取更多实践项目资源和读书分享，让我们用极致+极客的心态来迎接AI ！