| |
|
开发:
C++知识库
Java知识库
JavaScript
Python
PHP知识库
人工智能
区块链
大数据
移动开发
嵌入式
开发工具
数据结构与算法
开发测试
游戏开发
网络协议
系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程 数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁 |
-> 系统运维 -> 1.triton镜像使用 -> 正文阅读 |
|
[系统运维]1.triton镜像使用 |
1.tritonserver镜像使用1)拉取镜像
2)启动容器 指定模型仓库时可以执行server下的./fetch_model.sh,见2.2部分 GPU版本的启动
CPU版本的启动
区别只在于--gpus=1这个参数 注意:docker19.03之前的版本使用gpu要指定显卡硬件名,docker19.03之后的需要安装 nvidia-container-toolkit或nvidia-container-runtime 我的服务器是centos系统,我安装nvidia-container-toolkit,方式如下:
安装之后要重启docker systemctl restart docker 查看gpus参数是否安装成功 docker run --help | grep -i gpus 重新执行我遇到了如下错误 ?先使用非GPU版本的 nvidia-docker2.0是一个简单的包,它主要通过修改docker的配置文件“/etc/docker/daemon.json”来让docker使用NVIDIA Container runtime。 执行成功之后 ?进入该容器的方式为 docker exec -it ?8f89d733ff41 /opt/nvidia/nvidia_entrypoint.sh 3)验证是否启动成功
?4)继续验证,发送一个请求
?注意 1)对于nvcr.io/nvidia/tritonserver:22.06-py3镜像,其容器内的/opt/tritonserver/bin目录下保存tritonserver的启动程序,使用
?2)/opt/tritonserver目录下各个文件的含义 /opt/tritonserver/bin:tritonserver可执行文件 /opt/tritonserver/lib:存放共享库 /opt/tritonserver/backends:存放backends /opt/tritonserver/repoagents:存放repoagents 2.编译tritonserverTriton inference server?支持源码编译和容器编译两种方式 2.1源码编译2.2容器编译1)克隆triton inference server
2)创建模型仓库
? 执行./fetch_models.sh脚本之后发现/workspace/triton/server/docs/examples/model_repository/densenet_onnx目录下多了一个1目录。 /tmp目录下多了一个inception_v3_2016_08_28_frozen.pb.tar.gz? 3)编译,容器编译和源码编译
? |
|
|
上一篇文章 下一篇文章 查看所有文章 |
|
开发:
C++知识库
Java知识库
JavaScript
Python
PHP知识库
人工智能
区块链
大数据
移动开发
嵌入式
开发工具
数据结构与算法
开发测试
游戏开发
网络协议
系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程 数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁 |
360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 | -2024/11/15 6:04:23- |
|
网站联系: qq:121756557 email:121756557@qq.com IT数码 |