IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 人工智能 -> 飞桨AI创造营2期-t7-部署 -> 正文阅读

[人工智能]飞桨AI创造营2期-t7-部署

飞桨AI创造营2期-t7-部署

(Datawhale34期组队学习)

1知识点

  • openvino+ONNX部署
  • nano部署
  • edgeboard部署
  • 安卓部署
  • 服务器端在线部署

2具体内容

2.1ONNX部署

2.1.1介绍

ML模式的开放模式,允许各种ML框架和工具之间转化模型
定义了公共算子

2.1.2使用ONNX

  1. 标准如桥梁,链接首选模型,转化模式,在runtimes允许
  2. Operator List 算子列表

2.1.3工具

1.涉及工具

  • PP
  • PaddleSeg
  • Paddle2ONNX
  • Onnx
  • Onnxruntime
    2.Netron:Offline AI Model Visualisation Tool 查看模型参数

2.1.4步骤

  1. 导出模型
    • 动态图-》静态图
      • config
      • model
      • save_dir
      • input_shape
    • 静态图-》Onnx模型
      • model_dir
      • model_filename model.pdmodel
      • model_filename model.pdiparams
      • save_file unetv2.onnx
      • opset_version 11
      • enable-onnx_checker True
  2. 验证

2.2openvino

2.2.1介绍

1.视频AI:
input - Decode - Pre-Processing - Inference - Post-Processing - Encode - output

Inference - CPU\GPU\FPGA\VPU OpenVINO提升性能、易于开发、代码复用

2.推理:
模型层Vector全连接信息,推测每个Box Coordinates,ClassScores

3.评估性能

  • ms
  • FPS

2.2.2部署

  • 安装包
  • 第三方库 pip docker conda apt yum
  • 源码编译

2.2.3Toolkit生态

1.生态
在这里插入图片描述

2.开发流程

  1. 构建(model)
    • PP
    • OpenModelZoo
    • 工具
      • Model Downloader:可访问并下载多个预训练模型
      • Accuracy Checker:可使用已知数据集检查模型IR文件的精度
  2. 优化(Optimizer)OpenVino的模式
    • IR(.xml,.bin)
    • ONNX
    • nGraph*
  • 基于Python,导入训练好的模型并将其转换为中间表达式
  • 对预设的拓扑结构进行转换,优化模型的性能或空间表现
  • 与硬件无关的通用型优化方案
  1. 优化策略(线性操作)
    1. 分解BatchNorm和ScaleShift:BN层分解为Mul->Add->Mul->Add序列;ScaleShift层分解为Mul->Add序列
    2. 合并线性操作:合并Mul->Add序列为单个Mul->Add实例
    3. 融合线性运算:融合Mul->Add到卷积或全连接层
      在这里插入图片描述
    4. 分组卷积融合适用于TF拓扑的特定优化。将分割输出的卷积结果合并,然后使用Concat以与分割输出相同的顺序重新组合它们
    5. ResNet优化(步长优化)
      • 将大于1的步长从内核大小为1的卷积层移动到上层卷积层
      • 更改Eltwise层的输入形状,则模型优化器添加一个Pooling层来对其
        在这里插入图片描述
        在这里插入图片描述
        在这里插入图片描述

4.部署 Inference Engine - User Application

  • 异步模式
  • 吞吐量模式
  • 多设备异构

3参考

https://aistudio.baidu.com/aistudio/education/lessonvideo/2264067

  人工智能 最新文章
2022吴恩达机器学习课程——第二课(神经网
第十五章 规则学习
FixMatch: Simplifying Semi-Supervised Le
数据挖掘Java——Kmeans算法的实现
大脑皮层的分割方法
【翻译】GPT-3是如何工作的
论文笔记:TEACHTEXT: CrossModal Generaliz
python从零学(六)
详解Python 3.x 导入(import)
【答读者问27】backtrader不支持最新版本的
上一篇文章      下一篇文章      查看所有文章
加:2022-02-28 15:28:52  更:2022-02-28 15:29:51 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 -2024/11/26 18:32:04-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码