| |
|
开发:
C++知识库
Java知识库
JavaScript
Python
PHP知识库
人工智能
区块链
大数据
移动开发
嵌入式
开发工具
数据结构与算法
开发测试
游戏开发
网络协议
系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程 数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁 |
-> 人工智能 -> PAI:一站式云原生AI平台 -> 正文阅读 |
|
[人工智能]PAI:一站式云原生AI平台 |
本文是《飞天大数据产品价值解读系列》之《PAI:一站式云原生AI平台》的视频分享精华总结,主要由阿里云机器学习PAI团队的产品经理高慧玲(花名:玲汐)向大家介绍了阿里巴巴整体的AI情况以及一站式云原生的AI平台PAI,并且做了简单的DEMO演示。 一、阿里巴巴整体AI介绍阿里巴巴致力于打造A+B+C+D+E的AI研发、应用和生态合作体系。经过前面的几次直播,相信大家已经了解MaxCompute、Flink等大数据计算引擎。在我们的AI架构里,算法和大数据不分家,如下图所示,AI架构最底层由算法(A)、大数据(B)以及计算能力(C)提供了我们整个AI架构的基础能力。基于ABC孵化出了各个垂直领域里的AI应用场景(D),这些应用场景也在不断的反哺我们下层的算法及算力的不断前进和衍生。在ABCD之上,构建基于AI的生态体系(E)。阿里巴巴认为只有全面布局上述五个方面,形成软硬一体、应用驱动的研发形态,才能在人工智能时代形成强大技术优势。
整个AI体系孵化出众多的SaaS垂直领域能力,包括图像、视觉、语音、NLP、推荐系统等等,用来帮助用户提升数据资产利用率,解决不同场景需求。 前面介绍的AI技术栈已经在阿里集团内部非常多的应用场景下进行了渗透和落地。如下图中所示的众多丰富业务场景下,会产出大量比如电商广告、娱乐、地图、物流等不同类型的数据,阿里巴巴AI体系能力为这些数据提供了价值提升和创造性业务加持。? 我们相信上述的海量数据以及多样的场景在实际应用中具有广泛性和通用性,并且也希望在阿里内部沉淀的经验能够更好地为外部客户带来相同的业务价值提升。因此阿里逐渐地打磨出了阿里巴巴PAI平台对外提供服务,其整个发展历程如下图所示。接近十年的发展,PAI已经脱变为优秀的一站式云原生AI平台。 二、PAI:一站式云原生AI平台下图是PAI目前的完整产品矩阵,从中大家可以看到我们已经形成了非常丰富的产品形态,包括智能标注、可视化建模、交互式建模、云原生深度训练、自动学习等离线环节产品,同时我们训练出来的模型可以通过在线的预测服务与实际业务系统进行对接。并且我们还建立了“商品”丰富的AI“淘宝”平台(智能生态市场),大家可以在市场中沉淀各种算法和模型,进行交换和共享。 众所周知,一个完整的AI开发链路主要包括数据准备、实验构建及模型训练、到最终的模型部署与在线服务,接下来重点会介绍PAI的云原生产品家族,包括上图中高亮的PAI-DSW交互式建模平台、PAI-DLC云原生深度学习训练平台、PAI-EAS在线预测体系以及其中PAI-Blade编译优化产品,我们会按照用户的使用链路进行介绍。 (一)实验构建:PAI-DSW2.0完成数据准备之后,用户会从小规模的建模和实验构建部分开始进行AI实践。PAl-DSW(Data Science workshop)是PAI平台推出的交互式编程环境,是一款针对Al开发者量身打造的云端机器学习开发IDE,集成了开源的JupyterLab,并以插件化的形式进行了深度定制化开发,无需任何运维配置,可直接开启Notebook编写、调试、运行Python代码,是PAI建模产品中使用方式最为灵活的一个产品,深受广大AI开发者的喜爱。今年PAI基于云原生的架构,进一步推出推出了产品形态更丰富,使用方式更多样,使用架构更安全的PAI-DSW2.0,其主要的新特色包括多AI编程模式、灵活开放的AI开发环境、安全高效以及集成易用,具体如下图所示。 下图是PAI-DSW2.0的技术架构。从中可以看到它完全基于云原生的架构,基于ACK的调度体系,向下对接了多种灵活的存储,向上我们通过不同的插件不断的扩展和丰富我们的产品能力,同时把这些能力和接口也对用户进行了开放。 在PAI-DSW2.0中,我们提供了灵活开放的AI开发环境,无论用户习惯于用轻量的JupyterLab交互式AI开发,还是习惯于用VS Code做复杂工程的开发和管理,或者说习惯于直接在terminal里进行命令行或者vim开发,DSW都可以满足。基于以上多样和灵活的产品形态,我们在云上提供了云原生的在线AI建模方案,非常适用于一些在线开发场景,比如说团队的AI在线协作开发,线上AI教学以及本地的AI研发迁移上云。当前除了天池社区的大量开发者用户外,PAI-DSW还吸引了不同行业的企业客户,比如在线教育行业、互联网消费行业以及AI创业公司等。 (二)大规模分布式训练:PAI-DLC在算法实验到出一定效果之后,用户通常需要用大规模的生产数据来进行的模型生产训练。在这一阶段,很多开发者以及公司都会面临在数据量规模扩大带来的问题,比如说分布式的扩展,以及模型训练加速。 下图benchmark展示了DLC上的性能数据和开源框架的对比,下图(左)展示的是在很多电商广告、推荐信息流等场景下会遇到的大规模的稀疏矩阵的训练加速问题,PAI-DLC基于Parameter Server架构能够支持到百亿特征,千亿样本以及上千个节点的并发训练,对比开源框架最高能做到7倍的性能提升。另外在一些深度学习感知类场景中--比如NLP、图像等--算法开发常面临参数量巨大的问题,有时可能达到几亿级别,做到高效的分布式扩展往往也会成为巨大的挑战。PAI-DLC针对性提供了稠密分布式训练加速的能力,通过benchmark数据的对比(下图右),可看出集群规模越大的情况下,PAI-DLC的性能优势越明显。? 基于云原生架构以及极致的性能加速体验,PAI-DLC在云上吸引了非常多的人工智能企业以及互联网Top企业客户。最近某个自动驾驶行业客户的实践案例中,通过PAI-DLC产品的加速,一个大规模模型的训练时间从5天缩短为5小时,所消耗的分布式资源仅14.5倍,足以见加速效果的显著。 (三)模型推理服务:PAI-EAS+Blade(1)PAI-EAS 在模型构建及训练完成之后,将模型应用到业务中的重要环节是让模型去预测业务中源源不断产出的未知数据,通常有离线预测推理/在线预测推理两种方式。现在越来越多的场景追求极致的实时性,因此PAI在模型应用到业务的最后一公里环节推出了在线模型推理服务,其中核心产品是PAI-EAS,其架构图如下所示。 PAI-EAS是完全基于阿里云容器服务ACK的云原生服务,其主要优势有多环境、灵活弹性、面向生产以及丰富的产品能力,具体如下图所示。 基于上面的产品优势,PAI-EAS对内对外都服务了非常多的客户,在最近的双十一大促中,EAS支持了智能客服等众多核心业务,其中单模型服务峰值高达40万QPS,依然平稳度过。 (2)PAI-Blade 为了解决这个“两难问题”,PAI在在线服务环节推出了PAI-Blade这款工具型产品,为用户在资源常驻的在线服务环节提供降本提效的利器,其整体架构如下图所示。 PAI-Blade已经帮助阿里内部非常多的业务场景获得了不错的模型优化效果,比如在安全部鉴黄业务场景中的优化效果达到了5.48倍,意味着线上GPU卡消耗仅需原先的约20%。 同时,PAI-EAS+Blade的组合拳在云上也有很多客户的实践,目前在在线直播、在线教育以及移动分发场景下都有应用和落地。 三、快速上手演示案例最后,通过PAI-DSW和PAI-EAS的一个小案例,让大家来感受一下我们产品的使用方式,也欢迎大家自己直接进行试用。下图是相关的社区和群,大家可以在其中进行关于PAI的交流和学习。 整个Demo主要包括(1)数据读取,探索与分析(2)模型构建与训练(3)模型部署三个部分。 (一)数据读取,探索与分析在支持Python原生读取数据的基础之上,为了方便用户读取数据,DSW提供了dswmagic command来帮助用户从MaxCompute项目中读取数据,同时在DSW中,还可以通过使用一些类似pandas的库来对数据进行整理和分析,同时也可以通过各种用户熟悉的库将数据可视化。比如下图所展示的是从MaxCompute的公开项目中读取Iris鸢尾花数据,并进行可视化。 (二)模型构建与训练了解完数据后,我们就可以开始构建模型了。我们使用sklearn快速构建一个对Iris鸢尾花数据集的决策树模型,并且对模型进行可视化,代码和效果如下图所示。 (三)模型部署在完成了上面的模型训练过程之后,我们也已经将模型导出为了pmml文件。接下来我们使用EASCMD对模型进行部署。在从DSW到EAS模型部署中,我们需要完成如下图所示的主要步骤。 这样,我们就完成了一个简单的机器学习项目从数据读取,分析,建模,训练到部署,如需要调试模型,进入EAS管控台就能看到刚刚部署的模型服务,点击在线调试即可,比如下图。 基于以上几个步骤,我们就完成了一个简单的数据读取,分析建模,离线模型训练,再到在线的模型部署这样的完整链路。如果大家有兴趣的话,也可以直接在阿里云官网的产品->人工智能栏目下找到机器学习PAI产品,来体验完整的从数据准备到模型开发训练,模型管理再到模型部署的完整全流程的一站式AI服务。 |
|
|
上一篇文章 下一篇文章 查看所有文章 |
|
开发:
C++知识库
Java知识库
JavaScript
Python
PHP知识库
人工智能
区块链
大数据
移动开发
嵌入式
开发工具
数据结构与算法
开发测试
游戏开发
网络协议
系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程 数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁 |
360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 | -2024/11/27 19:33:35- |
|
网站联系: qq:121756557 email:121756557@qq.com IT数码 |