（1）
C++部署pytorch模型（上）
（2）
TensorRT5介绍及Pytorch转TensorRT5代码示例
TensorRT的使用步骤：（假设以及有一个训练好的模型）
（1） 根据模型创建TensorRT网络定义
（2） 调用TensorRT构建器从网络创建优化的运行引擎
（3） 序列化和反序列化引擎，以便在运行时快速创建引擎
（4） 为引擎提供数据以执行计算
（3）
一般流程是这样的。
cpu： pytorch -> onnx -> onnxruntime
gpu：pytorch -> onnx -> onnx2trt -> TensorRT
上述库python、C++接口都具备，可以根据需要采用
转自：python训练的pytorch模型，如何使用c++调用并使用TensorRT加速?
（4）
tensorrt安装_深度学习模型部署(1)Pytorch转TensorRT(C++版)
说到底TensorRT的使用还是调包，只要对其流程熟悉了，使用起来也就不困难；
目前的模型是简单的unet结构，模型的层TensorRT都支持，下一步需要学习TRT中如何自定义自己的层，如DCN、NMS等。
教程还是官方的详细，本文也是对官方教程的翻译，再加上自己的一些理解与可能遇到的错误。建议英文阅读无障碍的朋友可以直接看官方的教程。
（5）
问题：为什么没有onnx转换pytorch的方法？ - 九千树的回答 - 知乎
因为从pytorch到onnx，包含权重参数信息的网络结构被优化了，再返回去不好返
|