简介：
官网网址：
Installation Guide :: NVIDIA Deep Learning TensorRT Documentation
NVIDIA?TensorRT?的核心是一个C++库。 这有助于在 NVIDIA 图形处理单元 （GPU） 上进行高性能推理。 TensorRT 采用经过训练的网络，该网络由一个网络定义和一组 训练参数，并生成高度优化的运行时引擎，该引擎执行 该网络的推理。
TensorRT提供C++和Python的API，有助于实现深度学习模型。
TensorRT的整个流程包括：模型解析、引擎优化、推理
模型解析
一定要在最终部署的机器或者相同的硬件配置上进行！
模型方面有两种方法：
1、以onnx格式的经过训练的模型作为输入，并用TensorRT填充网络对象
2、使用gen_wts.py存储权重，利用C++代码调用TensorRT+API构建模型结构，加载gen_wts.py产生的权重组成完整引擎
引擎优化
主要完成模型转换，在模型转换时会完成前述优化过程中的层间融合，精度校准。这一步是针对特定的GPU平台和网络模型的优化过的TensorRT模型
推理
首先反序列化，并创建一个runtime engine，然后可以输入数据（图片），输出检测结果。
整体流程
- 导入模型，将原始框架转换为TensorRT网络，onnx是深度学习常用的模型；
- 输入模型、目标GPU平台和指定的配置参数，构建优化引擎；
- 想TensorRT引擎提供输入数据进行推理
先写这点，之后再完善在程序上使用