IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 人工智能 -> Tensorrt的使用:pytorch->onnx->trt -> 正文阅读

[人工智能]Tensorrt的使用:pytorch->onnx->trt

0. 电脑环境(此环境可供参考,因为本人在配置时,尝试不少版本间的配合使用!!!难受!!!)

????????tensorrt的安装推荐

系统:Ubuntu 18.04
cuda: 10.2
cudnn: 8.0.2(推荐配置8.2.1)
torch: 1.10.0
torchvision: 0.11.2
Tensorrt: 8.2.3.0(推荐此版本,在我使用中,其他版本的容易有兼容性问题)

1. pytorch转onnx参考如下博客进行转换:

Pytorch分类模型转onnx以及onnx模型推理 - 知乎(一)Pytorch分类模型转onnx 参考:PyTorch之保存加载模型PyTorch学习:加载模型和参数_lscelory的博客-CSDN博客_pytorch 加载模型 实验环境:Pytorch1.4 + Ubuntu16.04.5 1.Pytorch之保存加载模型1.1 当提到保存…https://zhuanlan.zhihu.com/p/159379768??????? 按照上面的方法使用,在进行onnx转trt时会报动态batch的错误,因此,需要改成静态batch,把torch.onnx.export()部分改写为:

torch.onnx.export(model_yolov3,
                    x,
                    export_onnx_file,
                    opset_version=11,
                    export_params=True,
                    input_names=["input"],	# 输入名
                    output_names=["output"]	# 输出名
                    )

2. 生成onnx文件之后,需要转成trt文件进行模型的推理。

????????onnx转trt参考如下博客进行转换,使用onnx2trt工具进行转换:

TensorRT教程4:使用onnx2trt工具转engine_米斯特龙_ZXL的博客-CSDN博客_onnx2trt使用onnx2trt工具转engineonnx-tensorrt 地址:https://gitee.com/Mr_xiaolong/onnx-tensorrt1、安装onnx2trt注意我用的trt7.2.3.4版本#克隆master分支到本地,因为默认master分支是7.2.3.4git clone https://gitee.com/Mr_xiaolong/onnx-tensorrt.gitgit submodule init#子模块初始化git submodule update #更新https://blog.csdn.net/weixin_41562691/article/details/118277630????????注:我使用的是cuda10.2,有2个补丁需要下载安装,如果未安装,会报下面的错误。

[2021-07-26 07:16:07   ERROR] 2: [ltWrapper.cpp::setupHeuristic::327] Error Code 2: Internal Error (Assertion cublasStatus == CUBLAS_STATUS_SUCCESS failed.)
terminate called after throwing an instance of 'std::runtime_error'
  what():  Failed to create object
已放弃 (核心已转储)

????????安装方式为

??????? ????????1. 下载补丁1、2

??????? ????????2. 运行:sudo sh cuda_10.2.1_linux.run 进行安装。安装时,去掉CUDA Toolkit 10.2选? 项,因为已经安装。

  人工智能 最新文章
2022吴恩达机器学习课程——第二课(神经网
第十五章 规则学习
FixMatch: Simplifying Semi-Supervised Le
数据挖掘Java——Kmeans算法的实现
大脑皮层的分割方法
【翻译】GPT-3是如何工作的
论文笔记:TEACHTEXT: CrossModal Generaliz
python从零学(六)
详解Python 3.x 导入(import)
【答读者问27】backtrader不支持最新版本的
上一篇文章      下一篇文章      查看所有文章
加:2022-03-30 18:23:58  更:2022-03-30 18:28:33 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 -2024/11/26 12:22:33-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码