TensorRT安装教程

Posted 2022-03-09 周先森爱吃素

简介

本文介绍在Ubuntu系统下安装TensorRT的具体步骤，主要支持C++的调用，理论上适合各种Linux发行版。

准备工作

CUDA安装

首先需要确保正确安装CUDA，可以参考我之前的博文，通过nvcc -V验证是否安装。

下载TensorRT

访问官网下载地址，下载合适的版本，我们选择压缩包文件下载，如下图。这里建议选用较新的8.x版本，支持比较多，我这里的CUDA版本为11.1，因此选择了这个文件。

安装TensorRT

必须要说的是，其实TensorRT的安装完全可以参照NVIDIA官方文档安装成功，我这里只是做一个具体的示例。

我们首先通过下面的命令解压下载的压缩包，并将解压得到的库文件移动到想要安装的位置，比如我想要安装到家目录下的opt文件夹中。

tar -xzvf TensorRT-8.0.3.4.Linux.x86_64-gnu.cuda-11.3.cudnn8.2.tar.gz
mv TensorRT-8.0.3.4 ~/opt/

然后，我们编辑环境变量vim ~/.bashrc，在其中增加下面一行后，通过source ~/.bashrc重新激活环境变量。

export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:~/opt/TensorRT-8.0.3.4

接着，我们通过样例程序判断TRT能否正常工作。我们先是将sampleMNIST源码进行编译，此时会在bin目录生成可执行文件，我们切换过去直接执行。

cd ~/opt/TensorRT-8.0.3.4/samples/sampleMNIST
make
cd ../../bin/
./sample_mnist

如果输出如下内容，最后显示PASSED，表明样例运行通过，那么TRT的安装基本上没什么问题。

[03/04/2022-21:25:41] [I] Input:
@@@@@@@@@@@@@@@@@@@@@@@@@@@@
@@@@@@@@@@@@@@@@@@@@@@@@@@@@
@@@@@@@@@@@@@@@@@@@@@@@@@@@@
@@@@@@@@@@@@@@@@@@@@@@@@@@@@
@@@@@@@@@@@@@@@@@@@@@@@@@@@@
@@@@@@@@@@@@@@@@.*@@@@@@@@@@
@@@@@@@@@@@@@@@@.=@@@@@@@@@@
@@@@@@@@@@@@+@@@.=@@@@@@@@@@
@@@@@@@@@@@% #@@.=@@@@@@@@@@
@@@@@@@@@@@% #@@.=@@@@@@@@@@
@@@@@@@@@@@+ *@@:-@@@@@@@@@@
@@@@@@@@@@@= *@@= @@@@@@@@@@
@@@@@@@@@@@. #@@= @@@@@@@@@@
@@@@@@@@@@=  =++.-@@@@@@@@@@
@@@@@@@@@@       =@@@@@@@@@@
@@@@@@@@@@  :*## =@@@@@@@@@@
@@@@@@@@@@:*@@@% =@@@@@@@@@@
@@@@@@@@@@@@@@@% =@@@@@@@@@@
@@@@@@@@@@@@@@@# =@@@@@@@@@@
@@@@@@@@@@@@@@@# =@@@@@@@@@@
@@@@@@@@@@@@@@@* *@@@@@@@@@@
@@@@@@@@@@@@@@@= #@@@@@@@@@@
@@@@@@@@@@@@@@@= #@@@@@@@@@@
@@@@@@@@@@@@@@@=.@@@@@@@@@@@
@@@@@@@@@@@@@@@++@@@@@@@@@@@
@@@@@@@@@@@@@@@@@@@@@@@@@@@@
@@@@@@@@@@@@@@@@@@@@@@@@@@@@
@@@@@@@@@@@@@@@@@@@@@@@@@@@@

[03/04/2022-21:25:41] [I] Output:
0:
1:
2:
3:
4: **********
5:
6:
7:
8:
9:

[03/04/2022-21:25:41] [I] [TRT] [MemUsageChange] Init cuBLAS/cuBLASLt: CPU +0, GPU +0, now: CPU 1819, GPU 1273 (MiB)
&&&& PASSED TensorRT.sample_mnist [TensorRT v8003] # ./sample_mnist

总结

本文简单介绍TensorRT的安装，其实只要根据官方文档安装基本上就没什么问题。