阿里灵杰：AI工程化助力产业数字升级

Posted 2021-12-29 Python中文社区

对于人工智能领域而言，“工程化”无疑是贯穿2021全年的热点。Gartner、德勤、中国信通院等权威研究机构先后在年度趋势报告中指出其必要性，与此同时，AI产业化的曲折探索也时刻提醒着大大小小的AI团队关注工程建设与规模化。

潮起潮落后，一个不容忽视的趋势已经显现：只有真正贡献于各行各业的数字化发展，AI才能不断迭代前行。这背后，亟需对数据计算分析、模型开发部署、在线训练推理、应用开发运维等各种环节进行全周期管理。而这恰恰是阿里灵杰——阿里云大数据＋AI一体化产品体系所期望和擅长的。

12月3日，2021阿里灵杰AI工程化峰会圆满落幕。阿里巴巴集团副总裁、阿里云智能计算平台事业部负责人、达摩院 AI 平台负责人贾扬清，达摩院语音实验室负责人鄢志杰，阿里云智能研究员、机器学习PAI平台和大数据平台技术负责人林伟等11位技术牛人亮相本次峰会，与开发者共同探讨AI落地产业的路径探索与创新实践。

贾扬清：从需求视角出发，拥抱云原生的AI时代

阿里巴巴集团副总裁、阿里云智能计算平台负责人、达摩院 AI 平台负责人贾扬清以一名AI老兵的身份，分享了经历多次浪潮后的观察。他把早期的AI开发人员比作“拓荒者”，身兼算法研究员、软件工程师、数据工程师、系统工程师多种角色，尝试把AI算法和应用逐渐落地。

（图：阿里巴巴集团副总裁、阿里云智能计算平台负责人、达摩院 AI 平台负责人贾扬清分享“一个AI开发者的奇幻漂流”）

随着技术发展，组件数量和模型算法的复杂度都在增加。时至今日，需要搭建一个统一的空间来拉通数据管理、算法迭代、模型训练及上线各环节。贾扬清总结道，“AI的痛苦在于本质上没有范式。AI不是一个单点的产品，而是一系列能力的组合；另一方面，AI对标准的软件和定制化服务协同的需求极强。”

因此，“AI开发者需要的，不是从资源视角搭建起来的平台；而是从需求出发，通过云原生、容器化方式链接资源的平台”，这正是打造阿里灵杰的初衷。今年10月刚刚发布的阿里灵杰，通过一体化的大数据与AI产品体系，向用户提供10万台以上计算集群的弹性算力、上百种标准化算法和模型服务、以及覆盖数据处理和机器学习全链路的管理能力。

简言之，阿里灵杰的核心价值在于，帮助今天的AI开发者更好地将数据、算法和场景结合起来，构建更完整更复杂的解决方案，去解决产业中的实际问题。

（图：阿里灵杰全景）

阿里灵杰AI工程平台：全链路提升效率

阿里云机器学习平台PAI和大数据平台技术负责人林伟认为，数据、计算力、和算法有机结合才能推动AI爆发，阿里灵杰也基于三要素形成了独特的思考和实践。

•第一，数据质量决定模型的高度。 因此，阿里灵杰从诞生第一天起就采用大数据与AI一体化的架构，通过湖仓一体实现对多元异构数据的存储管理，通过DataWorks和智能标注产品实现数据质量提升和监控，通过MaxCompute、Hologres、Flink等计算引擎完成实时或离线分析处理；

•第二，算法开发迭代速度是重要生产力。 云原生的灵杰平台能提供弹性的计算力，并具备良好的异构硬件和端设备适配性，能提升模型开发和部署效率。面向大模型，灵杰机器学习平台的Whale框架可自动实现分布式训练，FineTune框架可基于预训练大模型蒸馏出垂直场景的小模型，提升大模型生产速度和应用价值；

•第三，AI系统能力是核心能力。阿里巴巴集团内部AI应用需求极大，推动着灵杰机器学习平台PAI的核心引擎不断发展优化，覆盖超大规模稀疏模型训练及服务、超大规模多模态预训练模型、自动编译、大规模集群调度、ML Ops等方向。

（图：阿里云机器学习平台PAI和大数据平台技术负责人林伟分享AI工程化技术趋势）

聚焦阿里灵杰的平台产品能力，阿里云机器学习平台PAI产品负责人黄博远带来了一系列新功能发布。黄博远介绍，PAI提供从数据准备、模型开发、到模型部署、训练的全流程平台能力，此次产品升级主要是3个方面：

1、AI开发全链路体验提升，发布AI工作空间实现精细化的团队开发协作和AI资产管理。

2、PAI集成开源AutoML框架NNI。PAI-DSW以jupyter插件形式集成NNI，让自动机器学习能力变得唾手可得；PAI-DLC分布式集群可进行NNI HPO分布式训练，提升使用效果。此外，PAI-NNI加入了剪枝、稀疏化、量化等方向的提升，让AutoML的能力更易达到企业级应用标准。

3、基于PAI，可实现超大规模模型的构建、垂直场景小模型蒸馏、以及AI应用部署，让AI更普惠。

（图：机器学习平台PAI，覆盖AI生产全链路）

从标准化AI服务到电商增长，阿里灵杰的产业化实践

基于强大的基础设施和工程能力，阿里灵杰在阿里内外都积累了成功案例。达摩院语音实验室负责人鄢志杰认为，AI行业已经进入发展的“下半场”，AI+产业”将是兑现AI价值的重要途径，AI应用将形成专业分工更精细的产业链生态，“所有人将可使用AI，而AI也将予力所有人”。包含语音、视觉、NLP等能力在内的阿里灵杰AI开放服务正是基于这一愿景诞生，并具备开箱即用、自主定制、成本经济的特点。

在电商领域，数据驱动下的智能无处不在。阿里巴巴资深技术专家郭瑞杰表示，在电商场景中，用户除了获取信息，还存在比对、决策、售后等多个环节，链路更长，并且算法效果也业务价值直接相关。基于多年积累的电商智能增长工程平台，已经上云并产品化，并在电商、零售、内容社区、音视频领域帮助企业客户实现用户和收入显著增长。

阿里云天池首届“英特尔创新大师杯”颁奖，创造无止境

为引导开发者创新优化技术解决方案，促进AI行业沟通学习，今年启动了由英特尔主办，阿里云天池平台联合计算平台机器学习PAI承办的第一届“英特尔创新大师杯”深度学习挑战赛。比赛聚焦OCR及NLP的两个经典技术方向，通过多个实用场景面向全球广大开发者发布算法挑战。

经过数月征集和评选，“英特尔创新大师杯”颁奖典礼也在此次峰会举办。阿里巴巴集团副总裁、阿里云智能计算平台事业部负责人、达摩院 AI 平台负责人贾扬清，阿里云智能研究员、机器学习PAI平台和大数据平台技术负责人林伟，英特尔公司中国区超大云计算软件架构总监魏彬共同为获奖者颁奖。

这次深度学习挑战赛的顺利举行离不开英特尔第三代至强™可扩展处理器的强力支持。据英特尔公司中国区超大云计算软件架构总监魏彬介绍，英特尔第三代至强™可扩展处理器提供了澎湃的计算性能，不仅拥有VNNI指令集，提供强大的INT8的量化性能，还在新一代的平台中增加了BF16的指令集，对既要求计算又要求精度的OCR以及NLP场景尤为适合；在软件侧，英特尔还在框架层面上对Pytorch Tensorflow进行了深度优化。对本次比赛而言，选手也得以拥有良好的模型训练和优化环境，无论在边缘或是云端，都能让工作负载处于安全状态，为开发者的模型研发保驾护航。

正如阿里巴巴集团副总裁、AI老兵贾扬清所言，今天百花齐放的AI算法和应用为我们带来了许多故事，也让我们在生活中逐渐习惯；但或许在AI领域，我们应该怀抱更高远的梦想。目前，阿里灵杰正在为各行各业提供实实在在的解决方案，探索着AI落地产业的范式升级。未来，期待开发者们共同在云上更高效的描绘出人工智能增长第二曲线。