感悟：微博深度学习平台架构和实践

Posted 2021-02-12 xiaohaigege666

TensorFlow、Caffe和MXNet是三大主流的深度学习开源框架：TensorFlow的优势是社区最活跃，开源算法和模型最丰富；Caffe则是经典的图形领域框架，使用简单，在科研领域占有重要地位；MXNet在分布式性能上表现优异。PaddlePaddle、鲲鹏、Angel则是百度、阿里、腾讯分别推出的分布式计算框架。

 

腾讯深度学习平台DI-X

 

腾讯深度学习平台DI-X于2017年3月发布。DI-X基于腾讯云的大数据存储与处理能力来提供一站式的机器学习和深度学习服务。DI-X支持TensorFlow、Caffe以及Torch等三大深度学习框架，主要基于腾讯云的GPU计算平台。DI-X的设计理念是打造一个一站式的机器学习平台，集开发、调试、训练、预测、部署于一体, 让算法科学家和数据科学家，无须关注机器学习（尤其是深度学习）的底层工程繁琐的细节和资源，专注于模型和算法调优。

 

DI-X在腾讯内部使用了一年，其主要用于游戏流失率预测、用户标签传播以及广告点击行为预测等。

 

阿里机器学习平台PAI

 

阿里机器学习平台PAI1.0于2015年发布，包括数据处理以及基础的回归、分类、聚类算法。阿里机器学习平台PAI2.0于2017年3月发布，配备了更丰富的算法库、更大规模的数据训练和全面兼容开源的平台化产品。深度学习是阿里机器学习平台PAI2.0的重要功能，支持TensorFlow、Caffe、MXNet框架，这些框架与开源接口兼容。在数据源方面，PAI2.0支持非结构化、结构化等各种数据源；在计算资源方面，支持CPU、GPU、FPGA等异构计算资源；在工作流方面，支持模型训练和预测一体化。 

 

PAI已经在阿里巴巴内部使用了2年。基于该平台，在淘宝搜索中，搜索结果会基于商品和用户的特征进行排序。

 

百度深度学习平台

 

百度深度学习平台是一个面向海量数据的深度学习平台，基于PaddlePaddle和TensorFlow开源计算框架，支持GPU运算，为深度学习技术的研发和应用提供可靠性高、扩展灵活的云端托管服务。通过百度深度学习平台，不仅可以轻松训练神经网络，实现情感分析、机器翻译、图像识别，也可以利用百度云的存储和虚拟化产品直接将模型部署至应用环境。

微博深度学习平台是微博机器学习平台的重要组成部分，除继承微博机器学习平台的特性和功能以外，支持TensorFlow、Caffe等多种主流深度学习框架，支持GPU等高性能计算集群。微博深度学习平台架构如图1所示。（引用）