IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 系统运维 -> CA周记 | 通过 Azure ML + GitHub + GitHub Action 打通 ML 开发的任督二脉 -> 正文阅读

[系统运维]CA周记 | 通过 Azure ML + GitHub + GitHub Action 打通 ML 开发的任督二脉

在机器学习项目里面,总希望有一个平台可以帮你把数据采集/整理,模型训练,测试模型,部署模型链接起来。机器学习团队通过 MLOps 可以有效管理机器学习的项目,并加快从计划到生产发布的迭代周期。

什么是 MLOps?

MLOps 是一种操作方法,旨在促进将实验性机器学习模型投入生产并有效维护它的过程。MLOps 专注于将软件行业中使用的 DevOps 方法引入机器学习模型生命周期。通过这种方式,我们可以定义 MLOPs 项目的一些主要特征:

  1. 数据和模型版本控制

  2. 管道和流程的自动化

  3. 用于机器学习的 CI/CD

  4. 模型的持续监控

你可以把 MLOps 理解为 ML + Dev + Ops

认知 Azure?机器学习服务

现在 MLOps 实现的工具有很多,在 Azure 上就有非常好用的 MLOps 工具 - Azure 机器学习服务。机器学习专业人员、数据科学家和工程师可以在日常工作流中使用 Azure 机器学习服务训练和部署模型,以及管理 MLOps的流程。

你可以通过 Azure 门户快速创建一个 Azure 机器学习服务 ,在“创建资源” 选择“AI + 机器学习” 选择机器学习,就可以进行创建。

进入创建区域,你需要选择好你的订阅,资源组,以及工作区名字,以及所在区域,就可以创建 Azure 机器学习服务了。

创建成功后,会进入 Azure ML 资源区

点击工作室 Web URL 就可以进入 Azure 机器学习工作室了

通过 Azure 机器学习工作室 ,创作和编辑笔记本和文件,管理公共资源,例如, 数据凭据/计算/环境,直观呈现运行指标、结果和报表,通过开发人员界面创作的管道,创作 AutoML 作业等。

有了 Azure 机器学习服务 ,团队管理机器学习的项目就方便多了。我们可以在 Azure 机器学习工作室看到有对数据 ,训练,模型,部署的管理,也有算力,环境的设置等。当然也有开发环境的如 Notebook ,设计器等让你可以在云端完成相关的开发。

我们有了 MLOps 很好的工具 Azure 机器学习服务, 我们得再思考下,我们在机器学习开发中的几个关键步骤 平台(环境/工具,算力,模型管理/测试/监控/部署, MLOps) + 版本控制 + CI / CD 是我们最不能缺少的。我们如何去简化这些工作是必须思考的 , 通过 Azure ML + GitHub + GitHub Action 就可以完成相关的工作。

GitHub?Actions?介绍

GitHub Actions 可让您轻松自动化所有软件工作流程,现在使用世界一流的 CI/CD。直接从 GitHub 构建、测试和部署您的代码。让代码审查、分支管理和问题分类以您想要的方式工作。

如何写 Github Actions?

在项目上添加 .github/workflows 下添加 yaml文件

name: trainon: [push]jobs:run:runs-on: [ubuntu-latest]container: docker://dvcorg/cml-py3:lateststeps:- uses: actions/checkout@v2- name: train_pipelineenv:
AZUREML_CLIENTID: ${{secrets.AZUREML_CLIENTID}}AZUREML_TENANTID: ${{secrets.AZUREML_TENANTID}}AZUREML_SECRET: ${{secrets.AZUREML_SECRET}}AZUREML_SUBSCRIPTION: ${{secrets.AZUREML_SUBSCRIPTION}}AZUREML_RESOURCE_GROUP: ${{secrets.AZUREML_RESOURCE_GROUP}}AZUREML_WORKSPACE: ${{secrets.AZUREML_WORKSPACE}}run: |          # Your ML workflow goes herepip install -r requirements.txtpython iris_train_pipeline.py          # echo "supervised learning output"          # cat output.txt

通过 GitHub Action 的 CI/CD 操作

如何打通?Azure?

通过 GitHub 项目中的Settings 里面的 Secret Action 里,添加相关密钥

通过项目在 GitHub 上的设置,配置好与Azure 相关的Key,如AZUREML_CLIENTID, AZUREML_RESOURCE_GROUP, AZUREML_SECRET, AZUREML_SUBSCRIPTION,AZUREML_TENANTID ,AZUREML_WORKSPACE

获取方式你可以通过输入以下 Azure CLI 命令获取

az ad sp create-for-rbac --sdk-auth --name ml-auth

通过 Azure ML + GitHub + GitHub Actions 可以让你非常方便地完成和管理相关的机器学习项目。

数据管理

代码管理

CI/CD

训练过程监控?

模型部署?

相关资源

大家如果想了解更多,可以看关于 MLOps in Action 动手实验课程,当然也可以通过 GitHub 获取相关实验手册。

  • 视频观看

    https://www.bilibili.com/video/BV1fu411X7tv

  • GitHub 获取相关实验手册

    https://github.com/kinfey/HandsOnLab/tree/main/MLOps

  系统运维 最新文章
配置小型公司网络WLAN基本业务(AC通过三层
如何在交付运维过程中建立风险底线意识,提
快速传输大文件,怎么通过网络传大文件给对
从游戏服务端角度分析移动同步(状态同步)
MySQL使用MyCat实现分库分表
如何用DWDM射频光纤技术实现200公里外的站点
国内顺畅下载k8s.gcr.io的镜像
自动化测试appium
ctfshow ssrf
Linux操作系统学习之实用指令(Centos7/8均
上一篇文章      下一篇文章      查看所有文章
加:2022-03-08 22:59:52  更:2022-03-08 23:03:05 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 -2024/11/16 3:19:28-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码