本文向所有亲们介绍在python当中配置tensorrt环境、使用tensorrt环境进行推理的教程,主要分为两大部分,第一部分环境配置,第二部分前向推理。
第一部分 环境配置
第一步:检查你的系统类型、cuda、cudnn版本,其中cuda查看命令及本人环境显示如下:
nvcc -V
显示如下
nvcc: NVIDIA (R) Cuda compiler driver
Copyright (c) 2005-2021 NVIDIA Corporation
Built on Wed_Jun__2_19:15:15_PDT_2021
Cuda compilation tools, release 11.4, V11.4.48
Build cuda_11.4.r11.4/compiler.30033411_0
查看ubuntu系统信息命令:
sudo lsb_release -a
显示如下:
o LSB modules are available.
Distributor ID: Ubuntu
Description: Ubuntu 18.04.6 LTS
Release: 18.04
Codename: bionic
第二步: 官方下载链接下载tensorrt包。注意,需要亲亲注册哦,不然无法下载的啦。本人下载的是tar格式的 第三步:解压文件:
tar -xvf TensorRT-8.4.3.1.Linux.x86_64-gnu.cuda-11.6.cudnn8.4.tar.gz
第四部:激活你的当前python环境的情况下,进入你的解压包,安装对应python版本的tensorrt文件。在python文件夹下的内容如下,可以看到有好几个python对应版本的tensorrt,选择亲亲当前环境下的python版本进行安装就可以了,我的python版本是3.8,我就安装tensorrt-8.4.3.1-cp38-none-linux_x86_64.whl。
cd TensorRT-8.4.3.1/python/
pip install tensorrt-8.4.3.1-cp38-none-linux_x86_64.whl
第五步: 这下亲亲是不是觉得已经安装完成了可以使用了,当然不是,此时,一旦你在python中导入tensorrt时,会显示找不到包了的。所以,亲亲们要把解压出来的tensorrt文件当中的lib添加到环境变量当中哦!
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/opt/TensorRT-8.4.3.1/lib
当然了,你还可以把lib和include中的所有文件复制到系统路径下面,命令如下:
sudo cp -r /opt/TensorRT-8.4.3.1/lib/* /usr/lib
sudo cp -r /opt/TensorRT-8.4.3.1//include/* /usr/include
第六步:检查python中tensorrt是否安装成功
>>> import tensorrt as tr
>>> tr.__version__
'8.4.3.1'
>>>
至此,python中配置tensorrt环境就完成了(码字不易,赶紧点赞,别想白嫖)
第二部分 使用python+tensorrt进行模型推理
亲亲们,明日更新,今日寡人有些累,可能赞太少了。。。
|