飞桨企业版发布智能边缘控制台，5分钟零代码自动化模型部署

Posted 2022-01-06 百度大脑

12月12日，由深度学习技术及应用国家工程实验室主办的WAVE SUMMIT+ 2021深度学习开发者峰会在上海召开。此次峰会，最让开发者惊艳的是飞桨开源框架v2.2的重磅发布。百度深度学习技术平台部高级总监马艳军与百度AI产品研发部总监忻舟，就飞桨新版本特性与落地部署应用做了详尽解读，框架核心技术持续领先，落地部署降低应用门槛，飞桨正在为解决AI落地产业提供全新的答案。

 践行融合创新，飞桨核心技术持续积累与突破 

峰会现场，马艳军表示，飞桨作为中国首个自主研发、功能丰富、开源开放的产业级深度学习平台，核心技术持续积累与突破，全新发布的开源框架2.2版本，涉及深度学习开发、训练、文本任务极致优化、硬件高效适配、低门槛推理部署等多方面创新性技术，赋能开发者，为产业应用和前沿探索提供技术源动力。

开发方面
飞桨提供丰富的API，支持开发者便捷、高效地开发深度学习模型。飞桨框架v2.2的API更加丰富、高效并保持良好的兼容性，有针对性地丰富了100多个API，可支持更广泛模型开发，尤其针对科学计算的模型应用，增加了傅里叶变换、Jacobian/Hessian/VJP/JVP等一系列API，支持量子计算、生命科学、计算流体力学、分子动力学等应用，助力前沿技术探索。

训练方面
全新发布端到端自适应大规模分布式训练技术。针对不同的模型和硬件，抽象成统一的分布式计算视图和资源视图，并通过硬件感知切分和映射功能及端到端的代价模型，搜索出最优的模型切分和硬件组合策略，将模型参数、梯度、优化器状态按照最优策略分配到不同的计算卡上，达到节省存储、负载均衡、提升训练性能的目的。

基于全新的端到端自适应大规模分布式训练技术，百度飞桨在鹏城云脑II集群上采用自适应优化，训练速度达到优化前2.1倍。而近期发布的全球首个知识增强千亿大模型鹏城-百度·文心，也是基于端到端自适应大规模分布式训练技术。

文本任务方面
从文本处理、训练、解码到部署进行全面加速。升级对字符串张量的支持，为开发者提供端到端文本任务开发体验。在预训练模型方面，针对Transformer Encoder的网络结构实现了极致的性能优化，并通过自定义算子功能，融合了NVIDIA FasterTransformer的高性能算子。基于这些优化，框架针对预训练模型形成了训推一体全流程开发体验，让部署代码节省94%。

硬件接入方面
多层次、低成本的硬件适配方案降低了框架与芯片的适配成本。百度自研Kernel Primitive API、NNAdapter、编译器CINN（预发布）三大优化方案，分别对AI算子库、图、编译器后端进行软硬件结合的深度融合优化，极大降低了硬件适配成本，赋能硬件生态圈。

持续降低应用门槛，飞桨模型库、企业版全新升级

除了飞桨深度学习框架技术的领先发布，峰会还带来了飞桨产业级开源模型库和企业版的全新升级。

马艳军在会上表示，目前，百度飞桨官方支持的产业级开源算法模型超过400个，并发布13个PP系列模型，在精度和性能上达到平衡，将推理部署工具链彻底打通。

飞桨产业应用能力全方位升级的同时，飞桨企业版也在着力提升模型部署能力。会上，忻舟带来了飞桨企业版模型部署升级和飞桨EsayDL桌面版的全新发布。

飞桨企业版包括EasyDL和BML双平台开发模式，致力于提升AI开发效率和资源使用效能，目前已经成为应用和落地最广泛的AI开发平台。此次模型部署的全新升级基于飞桨推理部署工具链，与平台深度融合，打造自动高效的企业级部署功能。

首先是全自动模型组合压缩，显著提升推理性能。
基于PaddleSlim，根据不同模型和硬件的特点，设计了多条全自动组合压缩流水线，能够自动选择最佳压缩路径。对常见的模型，精度损失控制在1%下，加速比能达到3-5倍。

其次基于飞桨推理引擎，广泛适配推理芯片。
新版本采用了飞桨推理引擎，广泛适配推理芯片且性能优异。目前，平台已完成9345种模型芯片的组合的真实测试和调优，可以覆盖95%的需求场景，相比自行适配节省97%的开发时间。

最后是模型服务化与智能边缘控制台，大幅提高部署效率。
尤其是全新发布的智能边缘控制台，提供了全可视化的操作界面，使得模型与业务集成的效率显著提升，模型部署时间从天级别缩短至5分钟。忻舟现场演示了如何5分钟让机器狗学会手势识别的新技能。

最后，飞桨EasyDL桌面版全新发布。开发者不必繁琐的配置各种环境，在桌面一键极速安装即可实现本地高效建模，1分钟安装完成，15分钟就可完成模型开发，本地实现数据管理、算力调度、部署应用，让AI“触手可得”。

源于产业实践的百度飞桨产业级深度学习开源开放平台，是百度践行融合创新、降低行业发展门槛的AI大生产平台。飞桨的一代一代迭代更新，更是中国人工智能产业的一步一步的向上攀登。AI促动中国产业繁荣，飞桨一直在路上。