最近因为个人工作上的变动、更文频次降低了不少哈
本次博文为一份存稿、可能有些细节还需要补充、敬请查阅、指点
📙 OpenVINO 前言介绍
近些年、云原生技术相关概念越来越火热,如何把 AI 模型 高效 落地应用到 物联网相关实际场景中,成为一个当下较为迫切能够进一步解放生产力的一项技术。
随着AI技术等对应用开发和功能实现的影响越来越大,这也就要求相关企业具备更强的AI开发能力,从数据收集、数据预处理、数据标注、模型训练、模型评估和模型部署等一系列任务,无一不考验着企业的AI模型精度和AI推理速度、AI 算力资源等AI开发、落地能力。
模型推理框架一览——模型部署不得不了解的罗马【一文读懂】
而各家大厂针对也大多针对自己产品和技术推出了相关的深度学习AI模型端侧推理框架帮助开发者们快速把训练好的AI模型落地到实际产品中。
OpenVINO是英特尔针对自家硬件平台开发的一套深度学习工具库,包含推断库,模型优化等等一系列与深度学习模型部署相关的功能。
OpenVINO?工具包是用于快速开发应用程序和解决方案的综合工具包,可解决各种任务,包括模拟人类视觉,自动语音识别,自然语言处理,推荐系统等。该工具包基于最新一代的人工神经网络,包括卷积神经网(CNN),循环和基于注意力的网络,可在英特尔?硬件上扩展计算机视觉和非视觉工作负载,从而最大限度地提高性能。它通过从边缘到云的高性能,人工智能和深度学习推理来加速应用程序。
OpenVINO是一个Pipeline工具集,同时可以兼容各种开源框架训练好的模型,拥有算法模型上线部署的各种能力,只要掌握了该工具,你可以轻松的将预训练模型在Intel的CPU上快速部署起来。
📙 OpenVINO 安装
1 . 基础信息
OpenVINO是英特尔推出的一款全面的工具套件,用于快速部署深度学习应用和解决方案
我的虚拟机 Linux 版本
cat /etc/issue
Ubuntu 20.04.2 LTS \n \l
2 . Install Protobuf 【基础依赖】
- 好处是,编译构建 时就会使用系统中的 Protobuf
- Found Protobuf: /usr/lib/x86_64-linux-gnu/libprotobuf.so;-pthread (found version “3.6.1”)
sudo apt-get install libprotobuf-dev protobuf-compiler
输出如下
Reading package lists... Done
Building dependency tree
Reading state information... Done
The following packages were automatically installed and are no longer required:
linux-headers-5.8.0-50-generic linux-hwe-5.8-headers-5.8.0-50 linux-image-5.8.0-50-generic linux-modules-5.8.0-50-generic linux-modules-extra-5.8.0-50-generic
Use 'sudo apt autoremove' to remove them.
The following additional packages will be installed:
libprotobuf-lite17 libprotoc17
The following NEW packages will be installed:
libprotobuf-dev libprotobuf-lite17 libprotoc17 protobuf-compiler
0 upgraded, 4 newly installed, 0 to remove and 0 not upgraded.
Need to get 1,960 kB of archives.
After this operation, 13.8 MB of additional disk space will be used.
Do you want to continue? [Y/n] y
...
Fetched 1,850 kB in 2min 35s (11.9 kB/s)
Selecting previously unselected package libprotobuf-lite17:amd64.
(Reading database ... 236473 files and directories currently installed.)
Preparing to unpack .../libprotobuf-lite17_3.6.1.3-2ubuntu5_amd64.deb ...
Unpacking libprotobuf-lite17:amd64 (3.6.1.3-2ubuntu5) ...
Selecting previously unselected package libprotoc17:amd64.
Preparing to unpack .../libprotoc17_3.6.1.3-2ubuntu5_amd64.deb ...
Unpacking libprotoc17:amd64 (3.6.1.3-2ubuntu5) ...
Selecting previously unselected package libprotobuf-dev:amd64.
Preparing to unpack .../libprotobuf-dev_3.6.1.3-2ubuntu5_amd64.deb ...
Unpacking libprotobuf-dev:amd64 (3.6.1.3-2ubuntu5) ...
Selecting previously unselected package protobuf-compiler.
Preparing to unpack .../protobuf-compiler_3.6.1.3-2ubuntu5_amd64.deb ...
Unpacking protobuf-compiler (3.6.1.3-2ubuntu5) ...
Setting up libprotoc17:amd64 (3.6.1.3-2ubuntu5) ...
Setting up protobuf-compiler (3.6.1.3-2ubuntu5) ...
Setting up libprotobuf-lite17:amd64 (3.6.1.3-2ubuntu5) ...
Setting up libprotobuf-dev:amd64 (3.6.1.3-2ubuntu5) ...
Processing triggers for man-db (2.9.1-1) ...
Processing triggers for libc-bin (2.31-0ubuntu9.2) ...
3 . Install OpenVINO Toolkit
官方提供多种安装下载方式
方式一:可视化安装
这里选择命令行安装
查阅该文档进行这种方式的配置
Step 1: Install OpenVINO? Toolkit Core Components
- 下载离线版安装包
l_openvino_toolkit_p_2021.4.689.tgz
需要 root 权限
tar -zxvf l_openvino_toolkit_p_2021.4.689.tgz
cd l_openvino_toolkit_p_2021.4.689/
sudo ./install_GUI.sh
sudo ./install.sh
具体步骤截图说明如下【仅供参考】
Step 2: Install External Software Dependencies【非必须步骤】
cd /opt/intel/openvino_2021/install_dependencies
sudo -E ./install_openvino_dependencies.sh
sudo -E ./install_prerequisites_onnx.sh
网速决定安装速度 | 我们也可以使用 Conda 搭建自己的环境
Step 3: Configure the Environment【配置环境变量】
cd /home/moli/
vi ~/.bashrc
添加如下一行命令
source /opt/intel/openvino_2021/bin/setupvars.sh
source .bashrc
[setupvars.sh] OpenVINO environment initialized
Step 4: Configure the Model Optimizer
sudo ./install_prerequisites.sh
Step 5: GET STARTED GUIDES【测试是否成功】
- Getting Started with One-Command Demo
这一部分参考官方链接,网络顺利,基本都可运行成功
https://docs.openvino.ai/2021.4/openvino_docs_get_started_get_started_scripts.html
cd /opt/intel/openvino_2021/deployment_tools/demo
eog car.png
Python 环境安装命令
pip install openvino
pip install openvino-dev
方式二:源码编译安装
官方安装教程链接
https://github.com/openvinotoolkit/openvino/wiki/BuildingForLinux
本次安装是在自己的虚拟机中进行
git clone https://github.com/openvinotoolkit/openvino.git
cd openvino
git submodule update --init --recursive
这一步会补充下载一些可能用到的依赖库,根据网络情况,可能会部分下载失败
chmod +x install_build_dependencies.sh
./install_build_dependencies.sh
Get:1 http://security.ubuntu.com/ubuntu focal-security InRelease [114 kB]
Hit:2 http://us.archive.ubuntu.com/ubuntu focal InRelease
Fetched 114 kB in 2s (60.0 kB/s)
Reading package lists... Done
Building dependency tree
Reading state information... Done
mkdir build && cd build
cmake -DCMAKE_BUILD_TYPE=Release -DENABLE_CLDNN=OFF ..
make --jobs=$(nproc --all)
📙 预祝各位 前途似锦、可摘星辰
- 🎉 作为全网 AI 领域 干货最多的博主之一,?? 不负光阴不负卿 ??
- ?? 如果文章对你有帮助、点赞、评论鼓励博主的每一分认真创作
计算机视觉领域 八大专栏、不少干货、有兴趣可了解一下
|