TensorRT安装教程
Posted 周先森爱吃素
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了TensorRT安装教程相关的知识,希望对你有一定的参考价值。
简介
本文介绍在Ubuntu系统下安装TensorRT的具体步骤,主要支持C++的调用,理论上适合各种Linux发行版。
准备工作
CUDA安装
首先需要确保正确安装CUDA,可以参考我之前的博文,通过nvcc -V
验证是否安装。
下载TensorRT
访问官网下载地址,下载合适的版本,我们选择压缩包文件下载,如下图。这里建议选用较新的8.x版本,支持比较多,我这里的CUDA版本为11.1,因此选择了这个文件。
安装TensorRT
必须要说的是,其实TensorRT的安装完全可以参照NVIDIA官方文档安装成功,我这里只是做一个具体的示例。
我们首先通过下面的命令解压下载的压缩包,并将解压得到的库文件移动到想要安装的位置,比如我想要安装到家目录下的opt
文件夹中。
tar -xzvf TensorRT-8.0.3.4.Linux.x86_64-gnu.cuda-11.3.cudnn8.2.tar.gz
mv TensorRT-8.0.3.4 ~/opt/
然后,我们编辑环境变量vim ~/.bashrc
,在其中增加下面一行后,通过source ~/.bashrc
重新激活环境变量。
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:~/opt/TensorRT-8.0.3.4/lib
接着,我们通过样例程序判断TRT能否正常工作。我们先是将sampleMNIST源码进行编译,此时会在bin
目录生成可执行文件,我们切换过去直接执行。
cd ~/opt/TensorRT-8.0.3.4/samples/sampleMNIST
make
cd ../../bin/
./sample_mnist
如果输出如下内容,最后显示PASSED,表明样例运行通过,那么TRT的安装基本上没什么问题。
[03/04/2022-21:25:41] [I] Input:
@@@@@@@@@@@@@@@@@@@@@@@@@@@@
@@@@@@@@@@@@@@@@@@@@@@@@@@@@
@@@@@@@@@@@@@@@@@@@@@@@@@@@@
@@@@@@@@@@@@@@@@@@@@@@@@@@@@
@@@@@@@@@@@@@@@@@@@@@@@@@@@@
@@@@@@@@@@@@@@@@.*@@@@@@@@@@
@@@@@@@@@@@@@@@@.=@@@@@@@@@@
@@@@@@@@@@@@+@@@.=@@@@@@@@@@
@@@@@@@@@@@% #@@.=@@@@@@@@@@
@@@@@@@@@@@% #@@.=@@@@@@@@@@
@@@@@@@@@@@+ *@@:-@@@@@@@@@@
@@@@@@@@@@@= *@@= @@@@@@@@@@
@@@@@@@@@@@. #@@= @@@@@@@@@@
@@@@@@@@@@= =++.-@@@@@@@@@@
@@@@@@@@@@ =@@@@@@@@@@
@@@@@@@@@@ :*## =@@@@@@@@@@
@@@@@@@@@@:*@@@% =@@@@@@@@@@
@@@@@@@@@@@@@@@% =@@@@@@@@@@
@@@@@@@@@@@@@@@# =@@@@@@@@@@
@@@@@@@@@@@@@@@# =@@@@@@@@@@
@@@@@@@@@@@@@@@* *@@@@@@@@@@
@@@@@@@@@@@@@@@= #@@@@@@@@@@
@@@@@@@@@@@@@@@= #@@@@@@@@@@
@@@@@@@@@@@@@@@=.@@@@@@@@@@@
@@@@@@@@@@@@@@@++@@@@@@@@@@@
@@@@@@@@@@@@@@@@@@@@@@@@@@@@
@@@@@@@@@@@@@@@@@@@@@@@@@@@@
@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[03/04/2022-21:25:41] [I] Output:
0:
1:
2:
3:
4: **********
5:
6:
7:
8:
9:
[03/04/2022-21:25:41] [I] [TRT] [MemUsageChange] Init cuBLAS/cuBLASLt: CPU +0, GPU +0, now: CPU 1819, GPU 1273 (MiB)
&&&& PASSED TensorRT.sample_mnist [TensorRT v8003] # ./sample_mnist
总结
本文简单介绍TensorRT的安装,其实只要根据官方文档安装基本上就没什么问题。
以上是关于TensorRT安装教程的主要内容,如果未能解决你的问题,请参考以下文章
Ubuntu18.04安装cuda 11.3和TensorRT 8教程(碰到的坑及填坑方法,以及python和c++的TensorRT环境搭建)