大新闻|PaddlePaddle联手Kubernetes 助力深度学习模型高效发展

Posted 2021-04-01 百度AI

美国时间2月8日，Kubernetes社区宣布由百度原创开发的开源深度学习框架PaddlePaddle将兼容集群管理系统Kubernetes，使PaddlePaddle成为迄今为止唯一正式支持 Kubernetes的深度学习框架。

此次兼容将使开发者能够便捷地在全球主要云服务以及私有集群 (on-premise clusters) 上做大规模深度学习训练。该项目由百度和CoreOS联合开发，同时CoreOS也是Kubernetes的主要贡献者之一。

开发者通常会将AI项目与Web服务、日志收集、和数据处理等多种作业部署在同一个通用集群（general-purpose cluster）之上，从而实现高效数据通道。为管理通用集群，需要使用Kubernetes等成熟的通用集群管理系统。使PaddlePaddle兼容Kubernetes，开发者便可以开发搭载高效深度学习的应用。

百度科学家及PaddlePaddle研发项目带头人王益表示：“Kubernetes可以有效简化分布式作业，包括分布式机器学习作业的部署和运维工作，提升研究员和开发者的工作效率。”

Kubernetes将需要GPU的PaddlePaddle任务与需要大内存或大磁盘I/O吞吐量（disk I/O throughput）等其他不同资源的任务部署在同一个物理计算机之上，从而发挥集群硬件的最大效用。同时Kubernetes还能在活跃用户较多的白天自动启动更多的Web服务进程，而在夜间释放Web服务使用的部分资源来启动更多的PaddlePaddle进程。

PaddlePaddle为百度原创的一款易于使用的深度学习框架。最近四年里应用于百度旗下的多款互联网产品中。该框架尤其适合训练循环神经网络（recurrent neural networks），从而能高效执行自然语言理解、语音识别、和计算视觉等应用。自2016年百度世界大会上，宣布开放百度深度学习平台以来，PaddlePaddle已成为发展最快的深度学习平台之一。

 

----------

以上内容译自Kubernetes“Run Deep Learning with PaddlePaddle on Kubernetes”，版权归Kubernetes所有，转载请联系Kubernetes。