阿里首次开源深度学习框架X-Deep Learning

Posted 2021-04-29 开源最前线

整合自：阿里妈妈（ID：alimama102）

阿里巴巴将于12月中旬开源其内部深度学习框架 X-DeepLearning，面向广告、推荐、搜索等高维稀疏数据场景。这是阿里巴巴首次公开的深度学习框架，也是业界首个面向高维稀疏数据场景的深度学习开源框架。

据介绍，XDL整体上跟TensorFlow和PyTorch是同级的，它们很好地解决了目前已有开源深度学习框架分布式运行能力不足，以及大规模稀疏特征表征学习能力不足的问题，主要有以下两大特性：

1.XDL 面向广告、推荐、搜索研发，覆盖核心场景

据介绍，新框架XDL针对阿里妈妈业务数据高维稀疏的场景特点进行了极致优化，性能远超当时业界众多的开源框架，以XDL为基础的深度学习算法升级带来的广告收入提升超过百亿。

不仅是广告场景，互联网其它的核心场景如推荐、搜索等，也具有典型的高维稀疏数据特性，例如微博、抖音、今日头条等都属于该范畴内。因此，XDL在这些场景中也具有非常高的通用性，这为开源提供了基础。不管是以广告、推荐、搜索为代表业务的企业级用户，还是对此感兴趣的个人用户，都可以加入到开源计划当中。

2.开放与易用

XDL创造性地采用了桥接的架构设计理念，重点打造面向工业级应用的分布式规模能力，单机能够处理的计算则引用现有开源框架。这种桥接的架构，使得XDL跟业界的开源社区是无缝对接的，例如用户可以非常方便地在XDL框架上应用基于Tensorflow或者Pytorch编写的最先进开源深度学习算法。此外，对于已经在使用其它开源框架的企业或者个人用户，也可以在原有系统基础上轻松进行扩展，享受XDL带来的高维稀疏数据场景下极致的分布式能力。

除了核心的XDL训练框架外，阿里妈妈透露将全面开源面向高维稀疏数据场景的系统化解决方案，计划分批次对外发布，包括面向在线实时服务的高性能深度学习预估引擎、面向全库实时检索的全新深度学习匹配引擎；同时还内置阿里妈妈自主研发的一系列创新算法，涉及CTR预估模型、CVR预估模型、匹配召回模型、模型压缩训练算法等等。

一图看懂阿里巴巴首次公开深度学习框架

如果你和我一样对XDL充满期待，那就和我一起坐等12份中旬的开源代码吧。

---

●本文编号474，输入编号直达本文

●输入m获取文章目录